Sci论文 - 至繁归于至简,Sci论文网。 设为首页|加入收藏
当前位置:首页 > 计算机论文 > 正文

基于 ELK Stack 网络安全日志可视化研究论文

发布时间:2021-12-29 16:52:37 文章来源:SCI论文网 我要评论














SCI论文(www.scipaper.net):
 
 摘   要: 网络安全可视化作为新兴研究领域利用视觉对图像的获取能力,将抽象的网络日志以图形的方式展现出来,以识  别网络异常和入侵,  预测网络安全事件的发展趋势,  提升网络安全应急响应的针对性和实时性。ELK Stack 作为一种开源的安  全信息和事件管理实现框架,用于网络安全日志可视化具有较为明显的优势。首先介绍 ELK Stack 框架的核心组件,分析安全  日志标准化解析及检索方法;再重点阐述日志监控与异常检测、特征分析、关联分析和态势感知等四个方面可视化分析技术; 最后介绍 ELK Stack 框架在 WAF 安全日志可视化分析中的开发应用。

关键词:ELK;  网络安全;  日志可视化;WAF;态势感知

Research on Visualization of Network Security Log Based on ELK Stack

WANG Junsong1,2, HONG Sheng1
(1.Nanjing Vocational College of Information Technology Information Development Center, Nanjing Jiangsu 210023;
2.Hehai University School of Computer and Information, Nanjing Jiangsu 210024)

【Abstract】: Network security visualization uses the ability of vision to obtain images to display abstract network logs graphically to identify network anomaly, intrusion and predict the development trend of network security, improve the pertinence and real-time of network security emergency response. As one of open source SIEM implementation framework, ELK Stack has obvious advantages when used for network security log visualization. Firstly, this paper introduce the core components of the ELK Stack framework, then analyze the standardized analysis and retrieval methods of security logs; And then analyze the goals of security log visualization from four aspects: Log monitoring and anomaly detection, characteristic analysis, correlation analysis, and situation awareness; Finally, the application of the ELK Stack framework in the visual analysis of WAF security logs is introduced, and multi-dimensional visual graphics are established according to the visualization goals.

【Key words】: ELK;network security;log visualization;WAF;situation awareness

0 引言

网络攻击和网络渗透层出不穷,给网络安全分析带 来了诸多困难:多源异构数据的持续增长带来的认知负 担;新型攻击手段使得传统分析工具失效;  网络安全设 备自动化检测漏报和误报率居高不下;局部网络入侵检测难以判断宏观网络安全态势 [1]。网络安全可视化作为 一个新兴研究领域,利用视觉对图像的获取能力,将抽 象的网络日志以图形的方式展现出来,以识别网络异常和入侵,预测网络安全事件的发展趋势。与传统网络安 全保障机制不同,网络安全可视化技术不仅可以有效处 理海量日志,而且能通过对图像的分析来快速识别潜在 的攻击和异常事件。网络日志可视化研究为决策者制定 网络安全策略提供可靠的数据来源 [2]。

本文首先介绍 ELK Stack 框架的核心组件,  然后分 析安全日志标准化解析流程及分布式检索方法,再分别 从日志监控与异常检测、特征分析、关联分析和态势感知等四个方面分析安全日志可视化的目标。最后,介绍 ELK Stack 框架在 WAF 安全日志可视化分析中的应用, 并建立相应的视图。

\

1 ELK Stack 框架

安全信息和事件管理(Security Information Event Management, SIEM)是现代安全运营中心的核心安 全组件。其核心目标是通过广泛的事件收集,多源日志 的关联分析,安全事件告警的可视化,达到威胁检测与安全事件响应。基本功能包括日志收集、数据归一化、 通知和告警、安全事件检测、威胁响应等。

ELK Stack 主要包括四个核心组件:(1)Beats 是一 组轻量级采集程序的统称。以代理方式直接运行在各个 应用服务器上,可直接将日志数据发送到 Elasticsearch 或者通过 Logstash 进一步处理后发送。(2)Logstash 是一个开源的数据处理管道。对数据进行聚合,并进行 归一化处理。(3)Elasticsearch 是基于全文检索引擎 Lucence 的分布式搜索引擎。用于检索结构化和非结 构 化 数 据。(4)Kibana 展 示 组 件。  从 Elasticsearch 中读取数据并展示,提供实时的直方图、线形图、饼状图和地图。

2 网络安全日志标准化及检索

网络安全日志可视化的关键在于将海量的安全日志 标准化和归一化。解析的维度越多,内容越准确,对关 联分析的支撑度就越强 [3]。

2.1 标准化解析

标准化解析目标是将日志中的直接信息和隐含信息解 析出来。将非结构的日志数据转化为结构化的数据,存入 Elasticsearch 组件或关系型数据库中以便检索。ELK Stack 框架采用 Logstash 组件实现安全日志预解析。以 grok 过 滤插件为例: 匹配语法定义为:%{SYNTAX:SEMANTIC: TYPE}。根据 grok 语法,  一条简单的日志,  192.168.1.1 GET /index.html 100 0.01,   匹 配 模 式 为 ${IP:client} %{WORD:method}%{URIPATHPARAM:request} %{NUMBER:bytes}%{NUMBER:duration}。grok 过 滤后,client 字段的值为 192.168.1.1,method 字段的 值为 GET。文档序列化为 JSON 格式。

2.2 分布式检索
 
相比于集中式检索,分布式检索将任务分解成若干 小任务,分别运行在集群中不同的节点上,具有检索效 率高,  结果准确等特点。Elasticsearch 组件以 RESTful API 接口实现对文档的 CRUD 操作,屏蔽底层复杂的 分布式集群、数据分片等技术实现。一个 CRUD 操作 只对单个文档进行处理,   文档的唯一性由 _index, _type 和 routing values(通常默认是该文档的 ID)  的 组合来确定。Elasticsearch 默认以 query then fetch 方 式进行检索,即先向所有分片发送请求,然后对返回的结 果进行排序,再通过排序结果到相应的分片请求文档。

3 安全日志可视化分析技术

按照从单一到整体,简单到复杂的设计思路,   网络 安全日志可视化的目标可以分为以下 4 个维度:  日志监 控与异常检测、特征分析、关联分析和态势感知 [4]。

3.1 监控与异常检测

日志类型包括 Apache、Nginx 等 Web 服务访问日 志、SSH 登录日志、IP 端口访问日志、SQL 语句请求日 志等。通过热力图、百分比、柱状图、饼图等方式直观表 征网络受攻击的程度。文献 [5] 采用热力图对网络日志进行 监控,利用颜色差异来呈现监控效果。热力图中亮色代表 事件发生频率较高,暗色则反之。文献 [6] 根据端口访问日 志进行聚合分析,通过堆叠柱状图展示。Zhang 等人 [7] 采用甘特图显示服务器连接状态,树图显示服务器报警 数量,节点图表示事件关联度,堆叠直方图统计服务器 各项指标。

3.2 特征分析

面对海量日志数据,特征提取往往需要借助机器学 习技术进行监督学习和非监督学习。文献 [8] 将日志解 析成单独的事件,再进一步将它们编码成数字特征向 量,从而可以应用机器学习模型。具体做法为首先使用 不同的分组技术将原始日志分割成一组日志序列,包括 固定窗口、滑动窗口和会话窗口。然后,对于每个日志 序列,生成一个特征向量,表示每个事件的发生次数。 所有特征向量可以形成特征矩阵,即事件计数矩阵。 Song 等人 [9] 采用 3D 树图,运用机器学习方法从原始 数据中提取 7 个特征来检测异常。

3.3 关联分析

安全事件的关联性与类型、位置和时间 3 个特征有 关。雷达图在描述事件的关联性时具有较好的图形表现 能力。Vizalert[10] 采用雷达图分析安全事件的关联性, 主视图中圆的内部是网络的拓扑结构,周围的圆弧用于 显示警报信息,圆环的长度表示时间。Avisa[11] 采用辐 状图,辐状图由外部环和内部弧构成,外环分为两部分,较小的一边用于显示网络警报分类,较大的一边用 于显示子网或自定义的分组。

3.4 态势感知

态势感知的目标是基于识别出的攻击活动,评估攻 击行为产生的危害或造成的潜在威胁。评估方法可分为 3 类:基于知识推理方法、基于统计方法和基于灰度理论方法。

(1)基于知识推理的方法是根据专家知识和经验建 立评估模型,通过逻辑推理分析整个网络的安全态势, 其基本思想是借助概率论、模糊理论、证据理论等来处 理安全属性不确定性。文献 [12] 使用贝叶斯网络对网络 中的“不确定因素”进行建模,计算攻击成功的概率。 Aguilar[13] 等人结合了模糊逻辑与神经网络技术,获取 网络中重要资产的依赖关系进行危害程度评估。文献 [14]  设计了一个基于 D-S 证据理论的态势评估模型。(2)基于统计的方法目的是综合考虑影响网络安全的态势要 素,构建评估函数,实现态势要素和整个网络态势空间 的映射。文献 [15] 采用逐层汇聚的方式对攻击、服务、 主机以及整个网络的重要性权值进行加权以计算威胁指 数,建立层次化网络安全威胁态势量化评估模型。(3) 基于灰度理论方法以部分信息已知的不确定性作为研究 对象,并在此基础上提取有用信息,利用累加生成或逆 累加生成的新数据进行建模,找出数据的变化规律,具 有弱化原始数据的随机性、所需样本少、短期预测精度 高等特点。Juan 等人 [16] 提出了将无偏灰度理论和马尔 可夫理论相结合方法,分析网络风险。

4 基于 ELK Stack 的 WAF 日志可视化应用

作为网络安全体系建设的重要组成部分,  WAF 提 供应用级的 Web 防护、入侵检测、特征识别和模式匹 配等功能,但其提供的安全日志可视化难以应对日益 严峻的网络安全挑战。本文以国内某知名安全厂商的 WAF 为研究对象,运行数据来自于某高校的 Web 应用 防护实际环境,  依托 ELK Stack 平台对其产生的网络日 志进行可视化分析。ELK Stack 平台以 Docker 方式部 署,  Logstash 监听 UDP 5044 端口,接收 WAF 设备发送的 Syslog 日志。接收并归一化处理两个类别的日志: 网络安全日志和网络访问日志。首先,  根据 grok 语法  分别对两类日志进行正则匹配,提取日志中的全部字段  信息,并提取日志产生的时间字段作为检索时间戳存入  Elasticsearch 中。然后在 Kibana 仪表板面板中设计  4 个可视化图,分别为安全事件图,源 IP 图,地理位  置图以及访问域名图。

4.1 异常检测

Kibana 无监督式机器学习模块提供基于时间序列的异常检测功能,相比于传统通过设置某个固定的阈 值,到达阈值抛出异常的检测方式,基于时间序列的机 器学习,能捕捉到某个趋势上的异常值,做到更细粒 度、更准确的异常检测。选取源 IP 和访问域名作为输 入,通过人口行为模型进行建模,分析访问域名指标对 应的源访问地址的差异性。异常检测结果如图 1 所示, 以颜色深浅表征出现异常的可能性,颜色越深表示出现 异常的可能性越大。可以看出在某些时间段内,有 2 个 域名访问存在异常情况,  分别为 cas.njcit.cn 和 zhxg. njcit.cn。在基于时间序列的输入场景下,机器学习作 业可以持续不断地运行,实时进行检测异常。此外,机 器学习任务也可以设置一些规则,避免异常检测误报, 如在一些特定的时间节点上,访问量可能有异常波动, 可以提前添加规则避免误报。

\

4.2 关联分析

图 2 左上方是安全事件图,选取安全事件名作为唯 一切片。右上方为源 IP 图,选取 3 个切片,对应饼状 图的三个同心圆环,内环为源 IP 地址,中环为 IP 对应 的城市名,外环为国家名,大小依据为计数。下方为访 问域名图,垂直轴为域名,水平轴为计数,图例为访问源 IP 地址。当点击安全事件图上的某一事件,如 SQL_ Injection 事件,  其他三个可视图会进行实时关联检索, 在图上动态变化显示,并以不同的颜色进行区分。如图 2 所示,源 IP 图显示有来自三个地方的 SQL 注入攻击。 因此,管理员可以直观地观察到 SQL 注入事件的分布 情况,源 IP 地址,  IP 来自哪里,以及哪些域名受到该 IP 的 SQL 注入攻击,便于做好网络安全管理工作。

\

4.3 安全态势

图 3 为 Kibana 面板中设计的 4 个可视化图。分别 展示安全事件的分布情况,攻击和访问 IP 地理位置、 访问域名的统计情况。可视图中的安全事件为 WAF 经 自身特征库,特征匹配后进行标注的,每一种安全事件 对应一类安全攻击类型。特征匹配属于被动型防御,只 要访问行为与特征库的特征匹配,或者匹配度大于某一个阈值,就会被打上安全事件标签。借助安全态势感 知评估方法可做进一步分析,根据攻击的源 IP、次数、 域名、触发的安全事件等特征对安全事件真实性进行置 信分析等,辅助管理者预测未来发展趋势。
\

5 总结与展望

网络安全可视化将日志分析技术与可视化技术结合 起来,有效提升了网络安全应急能力和决策水平。但在 实际应用过程中仍然存在若干技术风险需要加强研究。(1)日志标准化问题。由于安全设备众多且日志格式不  统一,研究者们往往需要花费大量的时间处理日志源的  归一化问题,这限制了可视化内容的丰富性。如何提升  归一化效率是下一步的研究重点。(2)态势感知评估  方法。现有的态势感知评估方法存在问题:评估维度单  一,评估不能有效量化;评估过程中缺失若干要素的考  量: 系统资产重要性等级、依赖关系、脆弱性等级等; 评估结果存在主观性。针对态势感知评估方法的研究是  另一个重点。

另外在运用 ELK Stack 平台对 WAF 安全日志可视 化分析实践中,未来将在关联分析、数据源范围等方面 做拓展。从单一事件的关联分析到多个安全事件协同关 联分析。通过机器学习进行特征识别,将日志解析中的 URI 字段提取出来,  进行关联解析,  并给安全事件的评 估结果添加置信度,再通过 ELK Stack 提供的 API 接 口将结果反馈到 Kibana 可视图中。拓宽数据源获取的 渠道,通过镜像网络流量日志至服务器的 PacketBeat 组件,再通过 Kibana 进行 SIEM 分析,建立涵盖预 防、检测和响应等功能的网络安全日志可视化平台。

参考文献

[1] 赵颖,樊晓平,周芳芳,等.网络安全数据可视化综述[J].计算 机辅助设计与图形学学报,2014,26(5):687-697.
[2] 张胜,赵珏,陈荣元.网络安全日志可视化分析研究进展[J].计 算机科学与探索,2018,12(5):681-696.
[3] 袁斌,邹德清,金海.网络安全可视化综述[J].信息安全学报, 2016,1(3):10-20.
[4] 龚俭,臧小东,苏琪,等.网络安全态势感知综述[J].软件学报, 2017,28(4):1010-1026.
[5] Zhao Ying,Liang Xing,Fan Xiaoping,et al.MVSec: multiperspective and deductive visual analytics on heterogeneous network security data[J].Journal of Visua lization,2014,17(3):181-196.
[6] Lothar Braun et al.Flow-inspector:a framework for visualizing network flow data using current web technologies[J].Computing,2014,96(1):15-26.
[7] Zhang Tao,Liao Qi,Shi Lei.Bridging the gap of network management and anomaly detection through interactive visualization[C].Proceedings of the 2014 IEEE Pacific Visualization Symposium, Yokohama,Mar 4-7, 2014.Washington:IEEE Computer Society,2014:253-257.   [8] Shilin He,Jieming Zhu,Pinjia He,Michael R.Lyu. Experience Report:System Log Analysis for Anomaly Detection[C].IEEE International Symposium on Software Reliability Engineering(ISSRE),2016.
[9] Song J,Itoh T,Park G,et al.An advanced security event visualization method for identifying real cyber attacks[J]. Applied Mathematics & Information Sciences,2017,11(2): 353-361.
[10] Livnat Y,Agutter J,Moon S,et al.A visualization paradigm for network intrusion detection[C].Proceedings of the 6th  Annual IEEE SMC Information Assurance
Workshop,New York,Jun 15-17,2005.Piscataway:IEEE, 2005:92-99.
[11] Shiravi H,Shirav A,Ghorbani A A.IDS alert visualization and monitoring through heuristic host selection[C].LNCS 6476:Proceedings of the 12th  International Conference on Information and Communications Security,Barcelona,Dec 15-17,2010.Berlin,Heidelberg:Springer,2010:445-458.       [12] Qin X,Lee W.Attack plan recognition and prediction using causal networks[C].Computer Security Applications Conference,2005:370-379.
[13] Aguilar Jose and José Contreras.The FCM Designer Tool[J].Studies in Fuzziness and Soft Computing,2010 (247):71-87.
[14] Qu ZY,Li YY,Li P.A network security situation evaluation method based on D-S evidence theory[C].In:Proc.of the Intl Conf.on Environmental Science & Information Application Technology,2010:496-499.
[15] Chen XZ,Zheng QH,Guan XH,Lin CG.Quantitative hierarchical threat evaluation model for network
security[J].Ruan Jian Xue Bao/Journal of Software,2006,17(4):885-897.
[16] Juan L,Tao L,Gang T.A network security dynamic situation forecasting method[C].In:Proc.of the Intl Forumon Information Technology and Applications,2009: 115-118.

关注SCI论文创作发表,寻求SCI论文修改润色、SCI论文代发表等服务支撑,请锁定SCI论文网!

文章出自SCI论文网转载请注明出处:https://www.scipaper.net/jisuanjilunwen/34882.html

发表评论

Sci论文网 - Sci论文发表 - Sci论文修改润色 - Sci论文期刊 - Sci论文代发
Copyright © Sci论文网 版权所有 | SCI论文网手机版 | 豫ICP备2022008342号-1 | 网站地图xml | 百度地图xml