将日志转换为通用事件格式

如果你想使用Insightidr的Rapid7普遍活动来源,您需要将日志转换为确切的UEF合同

格式违规

InsightIdr只会处理符合给定Event_type和版本规定的确切格式的UEF事件。如果日志不包含所需信息或违反UEF的合同,InsightIdr将不会解析日志,并且InsightIdr Analytics引擎不会处理它们或在日志搜索中出现。

要将日志转换为已接受格式:

  1. 准备日志集合使用日志操作工具。
  2. 拉动原始日志通过编辑conf文件。
  3. 转换您的日志进入UEF。
  4. 发送到Insightidr.作为一个通用事件来源。
  5. 验证日志解析

有兴趣的更多信息吗?

阅读更多关于使用NXLOG从中转换日志的更多信息Rapid7博客文章

准备日志集合

本指南将使用NXLOG.作为日志操纵工具。阅读关于NXLog的详细信息和文档在此处:https://nxlog.co/documentation

要准备日志集合,请执行以下步骤:

  1. 开放服务.msc。测试前停止服务。重新启动每个测试的服务。
  2. 在要从中收集日志的同一系统的默认位置安装NXLog。
    • 对于nxlog,这个位置是c:\ program files(x86)\ nxlog \
  3. 此文件夹包含一个调用的子文件夹conf。制作原始nxlog.conf文件的副本以编辑目的并将原件保存为备份。
  4. 为测试创建诊断日志。调用它nxlog.log并写入文件夹,或其典型位置:c:\ program files(x86)\ nxlog \ data
  5. 定期检查nxlog.log文件进行测试时可能会累积的错误。
  6. 在首选文本编辑器中打开nxlog.conf文件。

编辑nxlog conf文件

具体情况,日志将进入,转换为Rapid7 Universal Event格式,并发送到Insightidr收藏家。

NXLOG配置文件有三个主要部分:全局指令,输入和输出块以及路径块。

  • 全局指令部分定义了nxlog可以做的。
  • 输入块用于读入源日志,输出块用于定义日志的转发方式。
  • 路由块告诉NXLOG处理输入和输出块的顺序。

nxlog的默认shell看起来像这样:

          
nxlog的默认shell
1
##这是一个示例配置文件。查看NXLOG参考手册关于
2
##配置选项。它应该在本地安装,也可用
3.
##在线网址为http://nxlog.org/docs/
4.
5.
##请将root设置为您的nxlog安装到的文件夹,
6.
##否则它将无法启动。
7.
8.
#define根c:\ program files \ nxlog
9.
定义根C:\ Program Files(x86)\ nxlog
10.
11.
moduledir%根%\模块
12.
Cachedir%根%\数据
13.
PIDFILE%root%\ data \ nxlog.pid
14.
spooldir%根%\ data
15.
logfile%root%\ data \ nxlog.log
16.
17.
18.
模块XM_JSON.
19.
20.
21.
在这里需要的扩展中#add
22.
23.
<输入in>
24.
#add在此输入法
25.
26.
27.
<输出>
28.
#add在此处的输出方法
29.
30.
31.
<路线1>
32.
路径在=>外
33.

要编辑conf文件以生成所需的UEF:

  1. 如果您还没有,请停止服务。
  2. 确定输入法。您可以在[nxlog指南]中读取关于输入方法。
  3. 决定输出方法,这是InsightIdr可以从通用事件源收集数据的三种方式。
    • 在此示例中,NXLog将日志转换为通用入口身份验证,因此输出方法是:syslog,尾部文件和观看目录。
  4. 定义nxlog文件中使用的扩展,例如xm_syslog.XM_JSON.
  5. 重新启动服务并测试配置文件。
  6. 使用日志尾部工具在诊断CONF文件中观察错误。
  7. 在继续之前修复任何问题。
  8. 再次停止服务。
  9. 如有必要,将扩展名添加到NXLog.conf中以读取和重新格式化日志。将此修改添加到步骤2的输入方法和步骤3的输出方法。
  10. 从UEF不需要的日志中删除所有额外字段。
  11. 重命名日志中的字段以匹配UEF期望的内容。
  12. 添加UEF期望的其他字段。
  13. 如果适用,将时间戳转换为ISO 8601扩展格式。

转变为UEF.

一旦NXLog正确转换了日志,将它们转换为JSON。

  1. 将to_json过程添加到输入块的底部。
  2. 保存文件并重新启动服务。
  3. 测试nxlog.conf文件以确保根据的是正确的JSON对象Rapid7 Universal Invress身份验证

它应该如下所示:

          
杰森
1
{“时间”“2018-09-29T01:25:31z”“source_ip”“36.7.19.12”“authentication_target”“破解”“帐户”“jfrost”“authentication_result”“成功”“版本”“v1”“事件类型”“Ingress_Authentication”}
2
{“时间”“2018-09-29T01:26:31z”“source_ip”“71.64.8.111”“authentication_target”“破解”“帐户”“蒙博学”“authentication_result”“失败”“版本”“v1”“事件类型”“Ingress_Authentication”}

如何配置此事件源

采用以下步骤配置事件源:

  1. 从您的仪表板,选择数据采集在左手菜单上。
  2. 出现“数据收集”页面时,单击“数据收集”页面设置事件源下拉点和选择添加事件源
  3. 从“安全数据”部分,单击您正在转换的UE的图标。出现“添加事件源”面板。
  4. 选择收集器和事件源。如果您愿意,您还可以命名您的活动源。
  5. 选择您在输出方法中指定的集合方法。
  6. 输入该集合方法的所需信息。
    • 使用Syslog时,可选择选择通过选择TCP并下载来加密rapt7证书
  7. 点击节省

日志可能需要几分钟才能开始出现。检查,去数据集>事件源标签。找到通用事件源并单击查看原始日志在右下方。

验证解析

在InsightIdr成功摄取转换的日志后,您必须验证它们是解析的。解析日志将显示在日志搜索中。

对于通用入口身份验证,日志也将出现在入口映射中。