配置Insight Agen必威体育app登录t发送额外日志
洞察代理必威体育app登录执行默认事件日志收集和进程监控InsightIDR。但是，如果您有需要额外日志监视的遵从性或操作需求，您可以配置Insight Agent以运行另一个作业，使用名为log Search的配置文件向log Search发送额外的数据必威体育app登录logging.json．的logging.json文件指示Insight Agent将日必威体育app登录志直接发送到data.logs.insight.rapid7.com端点根据您的区域。看到日志详细信息为更多的信息。
本文解释了配置其他日志转发的原因，提供了配置模板，并演示了如何配置代理以使用此方法使用代理。
JSON对象定义
当你创建你的logging.json文件，您将需要定义几个不同的对象，如路径、名称和目的地。有关对象描述的完整列表，请查看日志详细信息．
日志转发用例
由Insight Agent产生的额外日志转发必威体育app登录logging.json文件可能会向平台发送大量数据，因此了解何时使用该特性以获得最大价值是很重要的。
监控日志的合规性
使用Insight 必威体育app登录Agent转发日志可以帮助您满足某些遵从性需求，因为它将为您提供一组设备上发生的所有活动的更完整的画面。
例如，您可以将Insight Agent配置为转发环境中存储或处理支付必威体育app登录数据的所有计算机的日志。这可以帮助您满足PCI法规遵从性要求。
监控CPU使用和内存
Insi必威体育app登录ght Agent还可以收集硬件指标和使用情况详细信息，如CPU使用和磁盘内存。例如，这可用于构建仪表板，用于监控、报告和自定义低磁盘空间警报。
InsightIDR中不支持的收集方法
属性不支必威体育app登录持从充当域控制器的资产收集Windows事件日志logging.json配置文件。如果需要为此用例部署集合方法，请考虑使用选择配置．
在你开始之前
在你开始之前，有几件事要记住:
- 日志文件由Insight Agent使用必威体育app登录
logging.json配置文件绕过InsightIDR威胁检测引擎。它们被直接发送到我们的日志接收端点，并且不能使用自定义解析工具因为自定义解析工具需要通过事件源获取数据。 - 日志条目收集
logging.json方法不会归因于用户行为分析(UBA)或触发任何攻击者行为分析(ABA)，因为数据绕过了我们的检测引擎。 - Insi必威体育app登录ght Agent不会通过Collector自动路由使用此方法收集的数据。如果要通过Collector路由数据，则必须这样做将其配置为代理．
创建您的日志记录。json文件
下面的示例展示了几种不同的方法，您可以创建您的logging.json文件。按照说明Mac和Linux或窗户并选择最适合您需要的配置选项。
日志必须为文本文件格式
要跟踪的源日志文件必须采用UTF-8文本文件格式。EVTX文件或其他非文本的编码文件格式将无法与logging.json方法。
Mac和Linux
创建一个logging.jsonMac或Linux文件:
- 复制并粘贴模板在一个新文件中。一定要更新以下值:
- 区域代码:设置
<区域码>你的地区。你可透过“平台之家”(这个文档指出你可以看到的信息)。 - 平台API密钥：取代
<平台api密钥>使用API密钥。 - 路径：配置
“路径”跟踪系统上特定文件的关键字。 - 目的地:配置目的地以将数据发送到所需的日志集和日志。在“日志查询”中，您可以查看到由InsightIDR采集器生成的默认日志集。我们不建议对该数据使用这些日志集。相反，我们建议设置
“目的地”为新的日志集，例如“数据中心1”．对于名为“系统日志”，你的目的地将是destination:“Data Center 1/Syslog”，．您可以在多台机器上重用相同的目的地，所有数据将被传输到相同的日志集\日志。 - 名称:使用静态名称。
- 区域代码:设置
- 准备好后，保存
logging.json文件在以下目录下:/opt/rapid7/ir_-agent/components/insight_-agent/common/config． - 保存文件后，重新启动代理服务．
Mac和Linux模板
如果使用此模板，请确保按照前一节中指定的更改值。
json
1.
{
2.
“配置”:{
3.
“姓名”:“Linux代理”,
4.
“端点”:“<区域码> .data.logs.insight.rapid7.com”,
5.
“地区”:“<区域码>”,
6.
“api密钥”:“< platform-api-key >”,
7.
“状态文件”:“/ opt / rapid7 / ir_agent /组件/ insight_agent /共同/ config / logs.state”,
8.
“日志”:[
9
{
10
“姓名”:“系统日志”,
11
“目的地”:“Linux日志/ Syslog”,
12
“路径”:“/var/log/syslog”,
13
“启用”:真正的
14
},
15
{
16
“姓名”:“审计日志”,
17
“目的地”:“Linux日志/ audit.log”,
18
“路径”:“/var/log/audit/audit.log”,
19
“启用”:真正的
20.
},
21
{
22
“姓名”:“我的日志的名字”,
23
“目的地”:“Enter Desired Log Set Name Here/Enter Desired Log Name Here”,
24
“路径”:“/道路/ /日志/ file.log”,
25
“启用”:真正的
26
}
27
]
28
}
29
}
不要使用非锚定通配符
指定通配符规则时，必须将通配符锚定到特定的日志文件名基。不要指定未编排的通配符，例如“路径”:“c: \ \ \ \ * . log日志”，因为这会将任何和所有正在写入的日志文件拖到指定的目录，并导致过多的数据传输。
窗户
在配置logging.json文件要收集Windows事件日志，它将从以下通道收集日志：
- 应用程序
- 系统
- 安全
这些通道中的所有条目都已收集，无法修改以收集这些事件日志的子集或超集。在某些机器上，根据其审核策略，可能需要不断传输大量数据。您可能不希望在环境中的所有计算机上配置此选项。
域控制器日志收集的替代方案
虽然您可以在域控制器上使用Insight Agent必威体育app登录的IDR事件集合，但是附加的事件集合不会在具有域控制器角色的服务器上运行，也不会在使用logging.json方法。如果您需要为此用例部署一个收集方法，请考虑为安全事件日志的收集实现下列备选方案之一:
- 您可以启用Insight Agent收必威体育app登录集部分安全事件日志事件。有关更多信息，请参见替代域管理帐户．
- 作为运行Insight Agent为InsightIDR收集Act必威体育app登录ive Directory事件的替代方法，如前所述使用WMI在InsightIDR中创建Active Directory事件源，并选择“可选”，使用Collector发送未过滤的日志。这将指示事件源查询整个安全日志，并将这里没有列出的任何安全事件代码发送到日志搜索中的未解析日志集。看到活动目录文章以获取如何做到这一点的说明。
- 创建NXLog事件源看到NXLog页面指令。
选项1:将数据作为单个日志发送到Log Search
通过将数据作为单个日志发送到日志搜索，您可以对日志进行分组以反映您独特的环境。
要将数据作为单个日志发送，请执行以下操作：
在下面的示例中，日志数据被分组到一个“Windows log”分组中，但是您也可以为您的机器的不同子集(如您的开发服务器)创建日志。
创建一个新的日志记录。json文件我们ing the template provided below.
进行以下更改：
保存
logging.json文件在以下目录下:C:\Program Files\Rapid7\必威体育app登录Insight Agent\components\Insight\U Agent\common\config．一旦保存,重新启动代理服务．
json
1.
{
2.
“配置”:{
3.
“姓名”:“Windows代理”,
4.
“端点”:“<区域码> .data.logs.insight.rapid7.com”,
5.
“地区”:“<区域码>”,
6.
“api密钥”:“< platform-api-key >”,
7.
“状态文件”:“C:\\Program Files\\Rapid7\\必威体育app登录Insight Agent\\components\\Insight\U Agent\\common\\state.file”,
8.
“格式化程序”:“普通”,
9
“windows-eventlog”:{
10
“启用”:真正的,
11
“目的地”:“Windows服务器/事件日志”
12
},
13
“日志”:[]
14
}
15
}
选项2:配置日志记录。json文件to tail several different logs
你可以配置一个logging.json文件跟踪几个不同的日志。这允许您将Insight Agent配置为从多个位置的多个日志发送必威体育app登录数据到Log Search。
下面的示例显示了IIS日志，用于确定谁正在访问您的web服务器以及它们来自何处。
使用日志数组配置logging.json：
- 创建一个新的
logging.json文件使用下面的模板。 - 对模板进行如下修改:
json
1.
{
2.
“配置”:{
3.
“姓名”:“Windows代理”,
4.
“端点”:“<区域码> .data.logs.insight.rapid7.com”,
5.
“地区”:“<区域码>”,
6.
“api密钥”:“< platform-api-key >”,
7.
“状态文件”:“C:\\Program Files\\Rapid7\\必威体育app登录Insight Agent\\components\\Insight\U Agent\\common\\state.file”,
8.
“格式化程序”:“普通”,
9
“windows-eventlog”:{
10
“启用”:真正的,
11
“目的地”:“Windows事件日志/ IdOPs”
12
},
13
“日志”:[
14
{
15
“目的地”:“Windows日志/IIS日志”,
16
“路径”:“c: \ inetpub \ \ logs \ \ \ \ W3SVC2 \ \ u * . log日志”,
17
“启用”:真正的
18
},
19
{
20.
“目的地”:“Windows日志/应用程序X日志”,
21
“路径”:“d:\\LogFiles\\myLOG.log”,
22
“启用”:真正的
23
},
24
{
25
“目的地”:“Enter Desired Log Set Name Here/Enter Desired Log Name Here”,
26
“路径”:路径当地“c: \ \ \ \ \ \ \ \ log \ \ file.log”,
27
“启用”:真正的
28
}]
29
}
30.
}
不要使用非锚定通配符
指定通配符规则时，必须将通配符锚定到特定的日志文件名基。不要指定未编排的通配符，例如“路径”:“c: \ \ \ \ * . log日志”，因为这会将任何和所有正在写入的日志文件拖到指定的目录，并导致过多的数据传输。
配置代理
一旦你创建了你的logging.json文件，如果您的计算机不能直接访问，您可能需要配置一个代理<地区> .data.logs.insight.rapid7.com．
要配置代理，请在整体中添加以下键值对配置你的对象logging.json文件:
代理类型:指定应用协议。此时，只支持HTTP。proxy-url:指定代理服务器的地址。这可以是一个主机名或IP地址。代理端口:指定Insight Agent将使用的端口与您的代理服务器必威体育app登录通信。
将Collector配置为代理
如果您已经部署了一个或多个collector，它们将在默认情况下侦听端口8037上的入站代理请求。您可以将一个collector作为代理，并通过使用现有的基础设施简化设置。
这个示例展示了应该如何格式化代理定义logging.json:
json
1.
{
2.
“配置”:{
3.
“代理类型”:“HTTP”,
4.
“proxy-url”:"10.7.1.219",
5.
“代理端口”:"8037",
6.
“姓名”:“Windows代理”,
7.
“端点”:“<区域码> .data.logs.insight.rapid7.com”,
8.
“地区”:“<区域码>”,
9
“api密钥”:“< platform-api-key >”,
10
．．．然后是你的对象的其余部分
11
}
12
}
日志详细信息
| 对象 | 描述 |
|---|---|
| 路径 | 这是您希望在运行代理的主机上跟踪的文件的路径。对于Windows机器上的文件，需要转义反斜杠。例如:“路径”:“c: \ \ logs \ \ mylogfile.log”InsightIDR支持某些日志文件轮换策略，这些策略不允许指定绝对目标文件名。当日志文件被加上时间戳或被分配一个连续的数字时，这种情况很常见。您可以在文件名中指定通配符，以便指定目录中匹配模式的任何活动日志文件的内容将被转发到InsightIDR中的相同日志。请注意，Insight Agent不必威体育app登录能监视目录本身。相反，它被设计用来监视按日期和顺序数字旋转的日志，或者syslog旋转。 例如: “路径”:“c: \ \ logs \ \ mylogfile - * . log”在指定通配符规则时，请确保将通配符锚定在特定的日志文件名基上。不要指定非锚定通配符，比如 “路径”:“c: \ \ \ \ * . log日志”因为这将把任何和所有正在写入的日志文件拖到指定的目录，并导致过多的数据传输。 |
| 的名字 | 标签的配置，供您自己参考。该名称将出现在syslog报头中，如果省略了“formatter”:“plain”行，则将其添加到每条日志行前面。 |
| 端点 | 特定于区域的日志数据端点，代理应该将日志数据转发到该端点。检查你的地区． 澳大利亚: au.data.logs.insight.rapid7.com加拿大: ca.data.logs.insight.rapid7.com欧洲: eu.data.logs.insight.rapid7.com日本: ap.data.logs.insight.rapid7.com美国-区域1: us.data.logs.insight.rapid7.com美国-区域2: us2.data.logs.insight.rapid7.com美国-区域3: us3.data.logs.insight.rapid7.com |
| 地区 | InsightIDR部署所基于的特定区域。例如：金,ca,美联社,欧盟,我们,2,卖价 |
| api密钥 | 这是您的组织API密钥，只能从平台主> API密钥管理中生成和获取一次。有关更多信息，请参见管理平台API密钥． |
| 状态文件 | 这是一个本地文件的路径，该文件跟踪发送到Log Search的最后一个条目。当代理重新启动时，它将从该点发送日志，以减少代理脱机时丢失的日志数据。 |
| 格式化程序 | 将格式化程序设置为“plain”，以便将条目完全按照在本地日志文件中写入的方式发送到InsightIDR。 如果希望日志行以syslog格式RFC 5424发送，则删除此字段，这将向日志中添加时间戳、主机和其他信息。 警告:如果您的日志是原生的JSON格式，并且省略了formatter行，那么日志将不再是有效的JSON，因为syslog报头将打破格式。 |
| 韵律学 | 本节允许您将主机的资源利用率指标发送给InsightIDR。 |
| system-stat-enabled | 需要设置为true来收集配置的度量。 |
| windows-eventlog | 本节定义是否要从Windows事件日志中自动收集条目。为了便于搜索分析，这些条目将被转换为JSON。 这不适用于域控制器。 |
| 日志 | 这是应用程序的必填字段logging.json文件。这一部分是您想要遵循的主机上的日志文件列表。当新的行被写入这些日志时，更新将实时发送到InsightIDR。代理将只遵循UTF-8文本格式的日志。不支持编码日志格式(如.evtx)。 |
| 目的地 | 此字段用于指定应该将数据发送到哪个日志集和日志。如果已经存在匹配的日志，代理将将数据传输到相同的日志。如果没有，它将创建一个新的日志集和日志。这里提到的Log是在Log Search中为这组数据指定的名称。例如:" destination": "RedHat服务器/安全日志"destination": "Windows工作站/事件日志"重要的是:但是，您可以使用%hostname%作为变量，为每个主机创建不同的日志集或日志(例如，“RedHat Servers/%hostname%”)我们不推荐这种配置如果您有超过150个代理，因为这会使搜索您的日志变得困难。由于查询日志最多只能查询10000条日志，因此建议部署在主机数量较少的情况下。 |
| 启用 | 这是一个布尔值，值为true或false，用于指定是否应该遵循该文件。 如果您不想跟踪日志，建议您在日志：[]对象中完全忽略它，而不是将该值设置为false。 |
| 代理类型 | 指定应用协议。此时，只有超文本传输协议是支持的。 |
| proxy-url | 指定代理服务器的地址。这可以是一个主机名或IP地址。 |
| 代理端口 | 指定Insight Agent将用于与代理服务器通信的端必威体育app登录口。如果在代理定义中指定Collector，则必须将其设置为8037． |
进行故障排除
如果没有看到任何日志，打开代理日志并搜索Logentries和logging.json寻找错误。
错误示例:
1.
2020-07-20 16:22:38,301 [ERROR] [agent.jobs.le_realtime]:
2.
错误：C:\Program Files\Rapid7\InsightAgent\components\insight\U agent\common\config\logging.json
3.
JSON配置格式不正确
4.
期望属性名用双引号括起来:第13行第3列(char 414)