将日志转换为通用事件格式
如果你想使用Insightidr的Rapid7普遍活动来源,您需要将日志转换为确切的UEF合同。
格式违规
InsightIdr只会处理符合给定Event_type和版本规定的确切格式的UEF事件。如果日志不包含所需信息或违反UEF的合同,InsightIdr将不会解析日志,并且InsightIdr Analytics引擎不会处理它们或在日志搜索中出现。
要将日志转换为已接受格式:
- 准备日志集合使用日志操作工具。
- 拉动原始日志通过编辑conf文件。
- 转换您的日志进入UEF。
- 发送到Insightidr.作为一个通用事件来源。
- 验证日志解析。
有兴趣的更多信息吗?
阅读更多关于使用NXLOG从中转换日志的更多信息Rapid7博客文章。
准备日志集合
本指南将使用NXLOG.作为日志操纵工具。阅读关于NXLog的详细信息和文档在此处:https://nxlog.co/documentation
要准备日志集合,请执行以下步骤:
- 开放服务.msc。测试前停止服务。重新启动每个测试的服务。
- 在要从中收集日志的同一系统的默认位置安装NXLog。
- 对于nxlog,这个位置是c:\ program files(x86)\ nxlog \
- 此文件夹包含一个调用的子文件夹
conf。制作原始nxlog.conf文件的副本以编辑目的并将原件保存为备份。 - 为测试创建诊断日志。调用它nxlog.log并写入文件夹,或其典型位置:c:\ program files(x86)\ nxlog \ data
- 定期检查nxlog.log文件进行测试时可能会累积的错误。
- 在首选文本编辑器中打开nxlog.conf文件。
编辑nxlog conf文件
具体情况,日志将进入,转换为Rapid7 Universal Event格式,并发送到Insightidr收藏家。
NXLOG配置文件有三个主要部分:全局指令,输入和输出块以及路径块。
- 全局指令部分定义了nxlog可以做的。
- 输入块用于读入源日志,输出块用于定义日志的转发方式。
- 路由块告诉NXLOG处理输入和输出块的顺序。
nxlog的默认shell看起来像这样:
nxlog的默认shell
1
##这是一个示例配置文件。查看NXLOG参考手册关于
2
##配置选项。它应该在本地安装,也可用
3.
##在线网址为http://nxlog.org/docs/
4.
5.
##请将root设置为您的nxlog安装到的文件夹,
6.
##否则它将无法启动。
7.
8.
#define根c:\ program files \ nxlog
9.
定义根C:\ Program Files(x86)\ nxlog
10.
11.
moduledir%根%\模块
12.
Cachedir%根%\数据
13.
PIDFILE%root%\ data \ nxlog.pid
14.
spooldir%根%\ data
15.
logfile%root%\ data \ nxlog.log
16.
17.
18.
模块XM_JSON.
19.
延伸>
20.
21.
在这里需要的扩展中#add
22.
23.
<输入in>
24.
#add在此输入法
25.
输入>
26.
27.
<输出>
28.
#add在此处的输出方法
29.
输出>
30.
31.
<路线1>
32.
路径在=>外
33.
路线>
要编辑conf文件以生成所需的UEF:
- 如果您还没有,请停止服务。
- 确定输入法。您可以在[nxlog指南]中读取关于输入方法。
- 决定输出方法,这是InsightIdr可以从通用事件源收集数据的三种方式。
- 在此示例中,NXLog将日志转换为通用入口身份验证,因此输出方法是:syslog,尾部文件和观看目录。
- 定义nxlog文件中使用的扩展,例如
xm_syslog.和XM_JSON.。 - 重新启动服务并测试配置文件。
- 使用日志尾部工具在诊断CONF文件中观察错误。
- 在继续之前修复任何问题。
- 再次停止服务。
- 如有必要,将扩展名添加到NXLog.conf中以读取和重新格式化日志。将此修改添加到步骤2的输入方法和步骤3的输出方法。
- 从UEF不需要的日志中删除所有额外字段。
- 重命名日志中的字段以匹配UEF期望的内容。
- 添加UEF期望的其他字段。
- 如果适用,将时间戳转换为ISO 8601扩展格式。
转变为UEF.
一旦NXLog正确转换了日志,将它们转换为JSON。
- 将to_json过程添加到输入块的底部。
- 保存文件并重新启动服务。
- 测试nxlog.conf文件以确保根据的是正确的JSON对象Rapid7 Universal Invress身份验证。
它应该如下所示:
杰森
1
{“时间”:“2018-09-29T01:25:31z”那“source_ip”:“36.7.19.12”那“authentication_target”:“破解”那“帐户”:“jfrost”那“authentication_result”:“成功”那“版本”:“v1”那“事件类型”:“Ingress_Authentication”}
2
{“时间”:“2018-09-29T01:26:31z”那“source_ip”:“71.64.8.111”那“authentication_target”:“破解”那“帐户”:“蒙博学”那“authentication_result”:“失败”那“版本”:“v1”那“事件类型”:“Ingress_Authentication”}
如何配置此事件源
采用以下步骤配置事件源:
- 从您的仪表板,选择数据采集在左手菜单上。
- 出现“数据收集”页面时,单击“数据收集”页面设置事件源下拉点和选择添加事件源。
- 从“安全数据”部分,单击您正在转换的UE的图标。出现“添加事件源”面板。
- 选择收集器和事件源。如果您愿意,您还可以命名您的活动源。
- 选择您在输出方法中指定的集合方法。
- 输入该集合方法的所需信息。
- 使用Syslog时,可选择选择通过选择TCP并下载来加密rapt7证书。
- 点击节省。
日志可能需要几分钟才能开始出现。检查,去数据集>事件源标签。找到通用事件源并单击查看原始日志在右下方。
验证解析
在InsightIdr成功摄取转换的日志后,您必须验证它们是解析的。解析日志将显示在日志搜索中。
对于通用入口身份验证,日志也将出现在入口映射中。
这个页面对你有帮助吗?