收藏家的需求
在安装Collector之前,要了解带有Collector软件的机器本质上是一台服务器。它的唯一目的应该是为Insight平台收集数据。dota2必威联赛
在安装收集器之前,请务必阅读以下各节并了解它们的重要性:
系统和主机要求
您可以在满足以下要求的网络服务器或虚拟机上安装采集器。
最低硬件
- 4个CPU核,每个核2GHz+
- 推荐8gb内存
- 60gb +可用磁盘空间
- 已配置完全限定域名,如idrcollector23.myorg.com
磁盘空间
在某些情况下,收集器无法与云建立连接,无法向Insight平台发送数据。dota2必威联赛Collector磁盘空间允许它通过向磁盘写入日志来“保留”数据,直到重新建立连接。如果有更多可用的磁盘空间,收集器可以在没有连接的情况下保存更长时间的数据。
因为平台压缩它接收到的数据,Rapid7建议收集器中每10GB数据使用1GB磁盘空间。此外,当数据无法到达云时,为每个Collector规划至少24小时的“溢出”磁盘空间。
支持操作系统
支持以下平台的64位版本:
- Ubuntu 10.04 - 20.04
- Debian 7.0 - 8.2
- CentOS 5.2 - 7.3
- Oracle Enterprise Linux (OEL) 5.2 - 7.3
- Fedora 17 - 25
- SUSE Linux Enterprise Server (SLES) 11 -12版本
- SUSE Linux Enterprise Desktop (SLED) 11 -12
- openSUSE LEAP (42.1 - 42.2)
- 亚马逊Linux
- Red Hat Enterprise Linux (RHEL) 5.2 - 7.3
- Microsoft Windows Server 2008(含hyper - v)
- Microsoft Windows Server 2008(含hyper - v)
- Microsoft Windows Server 2012 R2
- Microsoft Windows Server 2008 R2
- Windows 7及更新版本
在Windows系统上,Collector必须能够在本地启动PowerShell进程,以便自动配置的事件源。
支持的浏览器
- Mozilla Firefox(最新稳定版本)
- 谷歌Chrome(最新稳定版)
最小的网络带宽
- 100 mbps的网络(必需)
- 1000 mbps(首选)
其他建议
- 推荐2个以上
- 网络上的每台机器只能安装一个Collector。Rapid7强烈建议机器(物理的或虚拟的)专用于运行Collector。
警告!
如果您的组织中已经安装了暴露,请不要在现有的暴露控制台或暴露扫描引擎上安装Insight Collector软件,因为这会导致暴露系统出现问题。
网络需求
当您为收集器准备网络时,请考虑以下方面:
内部路由规则
收集器轮询并从事件源接收数据。因此,需要提供采集器可以访问服务器日志的目录或文件位置,以便收集日志数据。您可以指定托管网络驱动器的本地文件夹路径或Windows Universal Naming Convention (UNC)路径。
港口
所有收集器必须能够到达端口443,并通过TCP端口与收集器通信:
端口号 |
收集的数据 |
|---|---|
TCP 5508 |
从洞察代理或端点监视器发回收集器的通信。必威体育app登录 |
TCP 6608 |
insight代理的升级代理数据路径。必威体育app登录 |
TCP 8037 |
Insight Agent文件上必威体育app登录传。 |
TCP 20000 - 30000 |
从端点监视器发回收集器的通信。 |
对于Linux操作系统的采集器,需要使用大于1024的端口。
看到InsightIDR使用的端口为更多的信息。
IP范围
允许重叠端点监测范围。采集器A上定义的IP地址或IP范围不应在采集器b上重复。如果存在重复,则应在迁移之前进行更新。否则,这些范围将不得不在迁移后手动更新。
看到IP地址为更多的信息。
凭证
每个Collector只能支持一组端点监视凭据。确保为网络上的每个Collector实例配置了凭据。
防火墙规则
如果可能,请关闭采集器主机上的本地防火墙。看到防火墙规则为特定的指令。
如果无法关闭本地防火墙,请按照如下配置进行操作。
所有采集器必须能够在端口上建立出站连接443来* .endpoint.ingress.rapid7.com并根据您的地理区域与下表的数据和存储(S3)列中所示的域进行通信。例如,对于选择将数据存储在澳大利亚的InsightIDR订阅者,collector必须能够使用端口与以下端点通信443:
* .endpoint.ingress.rapid7.comau.data.insight.rapid7.coms3 - ap -东南- 2. - amazonaws.com
| 地区 | 数据端点 | 存储(S3端点) |
|---|---|---|
| 美国- 1 | data.insight.rapid7.com |
s3.amazonaws.com |
| 美国- 2 | us2.data.insight.rapid7.com |
s3.us -东- 2. - amazonaws.com |
| 美国- 3 | us3.data.insight.rapid7.com |
s3.us -西方- 2. amazonaws.com |
| 加拿大 | ca.data.insight.rapid7.com |
s3.ca中央- 1. amazonaws.com |
| 欧洲 | eu.data.insight.rapid7.com |
s3.eu中央- 1. amazonaws.com |
| 日本 | ap.data.insight.rapid7.com |
s3 - ap -东北- 1. - amazonaws.com |
| 澳大利亚 | au.data.insight.rapid7.com |
s3 - ap -东南- 2. - amazonaws.com |
如果您打算部署基于符号的洞察力代理必威体育app登录通过收集器,还需要允许从端口上的每个收集器出站连接443到提供代理配置文件的端点。就像上表中的Data和Storage端点一样,您可以配置防火墙规则,以允许收集器连接到特定于区域的Deployment端点版本,以满足此需求:
| 地区 | 部署端点 |
|---|---|
| 美国- 1 | us.deployment.endpoint.ingress.rapid7.com/api/v1/get_agent_files |
| 美国- 2 | us2.deployment.endpoint.ingress.rapid7.com/api/v1/get_agent_files |
| 美国- 3 | us3.deployment.endpoint.ingress.rapid7.com/api/v1/get_agent_files |
| 加拿大 | ca.deployment.endpoint.ingress.rapid7.com/api/v1/get_agent_files |
| 欧洲 | eu.deployment.endpoint.ingress.rapid7.com/api/v1/get_agent_files |
| 日本 | ap.deployment.endpoint.ingress.rapid7.com/api/v1/get_agent_files |
| 澳大利亚 | au.deployment.endpoint.ingress.Rapid7.com/api/v1/ge_Agent_files. |
数据采集要求
要计划您的Collector部署,请为将要安装Collector的每个服务器或虚拟机提供以下信息:
- 显示名称
- 网络位置
- 服务器主机名和IP地址
- 在服务器上安装服务的管理员权限
端点数据需求
端点数据的收集还使用Collector上的资源。端点数据可以通过使用Collector扫描一系列端点或通过在端点上安装Rapid7 Insight Agent来收集。必威体育app登录这两种方法都将使用Collector上的资源。
Collector收集数据所需的端点数量越多,它需要的资源就越多。如果收集器上的CPU利用率一直徘徊在40%或更高,那么您应该考虑在该位置放置另一个收集器,或者在添加额外的端点范围以扫描或代理之前添加更多的CPU。
Rapid7 Collector每个CPU拥有的端点或代理不能超过600个。因此,如果您的Collector有4个CPU核,那么如果添加的事件源没有大量利用CPU利用率,那么它可以处理多达2400个端点或代理。
事件源的数量和收集数据的端点的数量决定了收集器需要多少RAM和cpu的数量。事件源和端点越多,收集器需要操作的RAM和CPU就越多。Collector的磁盘剩余空间仅用于数据采集的溢出。在正常情况下,Collector会立即将收集到的所有数据发送到云进行处理。
但是,如果Collector失去了与云的连接,或者处于其他低于正常运行的情况下,它会将收集的数据存储到其硬盘驱动器上的溢出文件夹中。给收集器的空闲磁盘空间越多,它可用的溢出空间就越多。请注意,在整个环境中部署多个Collector通常比打破防火墙规则或使单个Collector超载更有效。
此外,当使用Collector扫描端点时,每个Collector只能为端点扫描配置一组凭据。如果扫描端点需要不同的凭证,则需要为将要使用的每个凭证使用单独的Collector。
收集器的位置和大小
在考虑将收集器放置在何处时,请记住,您的带宽和网络体系结构将影响您组织中需要的收集器的数量和应该放置它们的位置。通常,应该将收集器部署在将要提取或发送的日志附近,以及它们将要扫描的端点附近。
Rapid7建议每个收集器最多有80个事件源,具体取决于以下内容:
- 正在添加的事件源的大小
- 收集器可用的CPU内存量
- 采集器可使用的虚拟机资源数量
- 收集器可用的磁盘空间量
提示:每个收集器最多保留50-60个事件源,并在多个收集器上分发事件源
集电极的容量取决于多种因素。虽然建议每个收集器最多使用80个事件源,但是每个收集器最多使用50-60个事件源可以更方便地防止数据收集问题。
在多个收集器上分发事件源始终是一种良好的实践。
收集器的位置大小 |
端点的数量/代理 |
采集器上事件源的数量 |
建议最低CPU |
推荐的最小内存 |
推荐的最小磁盘空间 |
|---|---|---|---|---|---|
小 |
500 |
1 - 10 |
4 |
8 GB |
60 GB |
媒介 |
2400 |
10 - 50 |
4 |
8 GB |
80 GB |
大 |
每个CPU核高达600个 |
50 - 80 * |
4+ |
16 GB |
100 GB |
*如果你有超过80个事件源,你应该将事件源划分到多个收集器中。
大容量事件源在收集器上放置了更高的RAM和CPU负载,并将导致收集器处理的事件源总数更少。在向收集器添加一个会话事件源(如防火墙)之前,请检查其当前资源利用率(参见数据采集>采集器).
- 如果CPU利用率始终超过40%,则考虑向该位置添加另一个收集器,以处理一些事件源。
- 如果CPU利用率始终高于90%,那么您需要一个额外的收集器来处理负载。
重要的收藏家限制
所有collector必须配置一个完全限定的域名,例如:
- idrcollector1.myorg.com
对于端点扫描,收集器只能配置一个端点扫描凭据。因此,如果您对需要用于扫描不同端点范围的独立凭据有多个域或其他需求,则应该为每个域或凭据集规划一个单独的Collector。
如果希望从检查点防火墙收集日志,则必须使用在Windows上运行的收集器。即不能使用Linux Collector收集Checkpoint防火墙的日志。
由于默认的文件描述符设置,安装在Linux上的Collector能够支持的代理数量有限。对于大多数Linux系统,默认代理限制是2000个代理。要增加可以连接到Linux Collector的代理的数量,请将文件描述符的数量更改为希望Collector处理的代理数量的两倍。更多关于文件描述符设置的信息可以在这里找到:https://www.tecmint.com/increase-set-open-file-limits-in-linux
如果您的组织中已经安装了exposure或InsightVM,请不要在现有的exposure控制台或exposure Scan Engine上安装Insight Collector Software,因为这会导致您的exposure系统出现问题。