收藏家的需求
在安装Collector之前,要了解带有Collector软件的机器本质上是一台服务器。它的唯一目的应该是为Insight平台收集数据。dota2必威联赛
在安装收集器之前,请务必阅读以下各节并了解它们的重要性:
系统和主机要求
您可以在满足以下要求的网络服务器或虚拟机上安装采集器。
最低硬件
- 4个CPU核心,每个核心有2GHz +
- 推荐8gb内存
- 60gb +可用磁盘空间
- 已配置完全限定域名,如idrcollector23.myorg.com
磁盘空间
在某些情况下,收集器无法与云建立连接,无法向Insight平台发送数据。dota2必威联赛Collector磁盘空间允许它通过向磁盘写入日志来“保留”数据,直到重新建立连接。如果有更多可用的磁盘空间,收集器可以在没有连接的情况下保存更长时间的数据。
由于平台压缩其接收的数据,因此Rapid7为收集器中的每个10GB的数据推荐1GB的磁盘空间。此外,当数据无法到达云时,每个收集器的磁盘空间至少计划至少24小时的“溢出”磁盘空间。
支持操作系统
支持以下平台的64位版本:
- Ubuntu 10.04 - 20.04
- Debian 7.0 - 8.2
- CentOS 5.2 - 7.3
- Oracle Enterprise Linux (OEL) 5.2 - 7.3
- Fedora 17 - 25
- SUSE Linux Enterprise Server(SLES)11 -12
- SUSE Linux Enterprise Desktop(SLed)11 -12
- openSUSE LEAP (42.1 - 42.2)
- 亚马逊Linux
- Red Hat Enterprise Linux(RHEL)5.2 - 7.3
- Microsoft Windows Server 2019
- Microsoft Windows Server 2016
- Microsoft Windows Server 2012 R2
- Microsoft Windows Server 2008 R2
- Windows 7及更新版本
在Windows系统上,收集器必须能够在本地启动PowerShell流程以便自动配置的事件源。
支持的浏览器
- Mozilla Firefox(最新稳定版本)
- 谷歌Chrome(最新稳定版本)
最小的网络带宽
- 100 mbps的网络(必需)
- 1000 mbps(首选)
其他建议
- 建议使用2个CPU最小值
- 网络上的每台机器只能安装一个Collector。Rapid7强烈建议机器(物理的或虚拟的)专用于运行Collector。
警告!
如果您的组织中已经安装了暴露,请不要在现有的暴露控制台或暴露扫描引擎上安装Insight Collector软件,因为这会导致暴露系统出现问题。
网络需求
当您为收藏家准备网络时,请考虑以下区域:
内部路由规则
收集器轮询并从事件源接收数据。因此,需要提供采集器可以访问服务器日志的目录或文件位置,以便收集日志数据。您可以指定托管网络驱动器的本地文件夹路径或Windows Universal Naming Convention (UNC)路径。
港口
所有收集器必须能够到达端口443,并通过TCP端口与收集器通信:
端口号 |
收集的数据 |
|---|---|
TCP 5508 |
从洞察代理或端点监视器发回收集器的通信。必威体育app登录 |
TCP 6608 |
升级Insight agent的agent数据路径。必威体育app登录 |
TCP 8037 |
Insight Agent文件上必威体育app登录传。 |
TCP 20,000 - 30,000 |
从端点监视器发回收集器的通信。 |
对于Linux收集器,您必须使用高于1024的端口。
看到InsightIDR使用的端口为更多的信息。
IP范围
允许重叠端点监测范围。采集器A上定义的IP地址或IP范围不应在采集器b上重复。如果存在重复,则应在迁移之前进行更新。否则,这些范围将不得不在迁移后手动更新。
看到IP地址为更多的信息。
证书
每个Collector只能支持一组端点监视凭据。确保为网络上的每个Collector实例配置了凭据。
防火墙规则
如果可能,请关闭采集器主机上的本地防火墙。看到防火墙规则为特定的指令。
如果您无法禁用本地防火墙,请按照下面的配置按照配置。
所有采集器必须能够在端口上建立出站连接443到* .endpoint.ingress.Rapid7.com.并根据您的地理区域与下表的数据和存储(S3)列中所示的域进行通信。例如,对于选择将数据存储在澳大利亚的InsightIDR订阅者,collector必须能够使用端口与以下端点通信443:
* .endpoint.ingress.Rapid7.com.au.data.insight.rapid7.coms3 - ap -东南- 2. - amazonaws.com
| 地区 | 数据端点 | 存储(S3端点) |
|---|---|---|
| 美国 - 1 | data.insight.rapid7.com |
s3.amazonaws.com |
| 美国 - 2 | us2.data.insight.rapid7.com |
s3.us -东- 2. - amazonaws.com |
| 美国 - 3 | us3.data.insight.rapid7.com |
s3.us -西方- 2. amazonaws.com |
| 加拿大 | ca.data.insight.rapid7.com |
s3.ca-central-1.amazonaws.com. |
| 欧洲 | eu.data.insight.rapid7.com |
s3.eu中央- 1. amazonaws.com |
| 日本 | ap.data.insight.rapid7.com |
s3 - ap -东北- 1. - amazonaws.com |
| 澳大利亚 | au.data.insight.rapid7.com |
s3 - ap -东南- 2. - amazonaws.com |
如果您打算部署基于符号的洞察力代理必威体育app登录通过您的收藏家,您还需要允许从端口上的每个收集器的出站连接443到提供代理配置文件的端点。就像上表中的数据和存储端点一样,您可以配置防火墙规则,以允许收集器连接到部署端点的特定区域以满足此要求:
| 地区 | 部署端点 |
|---|---|
| 美国 - 1 | US.DEPLOYMENT.ENDPOINT.INCRESS.RAPID7.com/api/v1/ge_AGENT_FILE. |
| 美国 - 2 | US2.DEPLOYMENT.ENDPOINT.INCRESS.RAPID7.com/api/v1/ge_AGENT_FILE. |
| 美国 - 3 | us3.deployment.endpoint.ingress.rapid7.com/api/v1/get_agent_files |
| 加拿大 | ca.deployment.endpoint.ingress.rapid7.com/api/v1/get_agent_files |
| 欧洲 | eu.deployment.endpoint.ingress.rapid7.com/api/v1/get_agent_files |
| 日本 | ap.deployment.endpoint.ingress.rapid7.com/api/v1/get_agent_files |
| 澳大利亚 | au.deployment.endpoint.ingress.rapid7.com/api/v1/get_agent_files |
数据采集要求
要计划您的Collector部署,请为将要安装Collector的每个服务器或虚拟机提供以下信息:
- 显示名称
- 网络位置
- 服务器主机名和IP地址
- 在服务器上安装服务的管理员权限
端点数据需求
端点数据的收集还使用Collector上的资源。端点数据可以通过使用Collector扫描一系列端点或通过在端点上安装Rapid7 Insight Agent来收集。必威体育app登录这两种方法都将使用Collector上的资源。
收集器需要收集数据的端点数量越多,所需的资源就越多。如果CPU利用率已经在收集器上的40%或更高中持续悬停,则应考虑在该位置站上另一个收集器,或在添加其他端点范围之前添加更多CPU以扫描或代理。
Rapid7 Collector每个CPU拥有的端点或代理不能超过600个。因此,如果您的Collector有4个CPU核,那么如果添加的事件源没有大量利用CPU利用率,那么它可以处理多达2400个端点或代理。
事件源的数量和收集数据的端点的数量决定了收集器需要多少RAM和cpu的数量。事件源和端点越多,收集器需要操作的RAM和CPU就越多。Collector的磁盘剩余空间仅用于数据采集的溢出。在正常情况下,Collector会立即将收集到的所有数据发送到云进行处理。
但是,如果收集器失去与云的连接,或者它位于其他子正式操作场景下,它将将收集的数据存储在其硬盘驱动器上的溢出夹中。您为收集器提供的可用磁盘空间越多,它将可用的溢出空间越多。请注意,在整个环境中部署多个收集器通常更有效,而不是破坏防火墙规则或过载单个收集器。
此外,当使用Collector扫描端点时,每个Collector只能为端点扫描配置一组凭据。如果扫描端点需要不同的凭证,则需要为将要使用的每个凭证使用单独的Collector。
收集器的位置和大小
在考虑将收藏家放置的地方时,请记住,您的带宽和网络架构将影响您在组织中所需的收藏家的数量以及您应该放置它们的位置。通常,您应该将收集器部署到将被拉动或发送并靠近它们将要扫描的端点的日志。
Rapid7建议每个收集器最多有80个事件源,具体取决于以下内容:
- 正在添加的事件源的大小
- 收集器可用的CPU内存量
- 收集器可用的VM资源量
- 收集器可用的磁盘空间量
提示:每个收集器可保持50-60个事件源,并通过多个收集器分发事件源
集电极的容量取决于多种因素。虽然建议每个收集器最多使用80个事件源,但是每个收集器最多使用50-60个事件源可以更方便地防止数据收集问题。
在多个收集器上分发事件源始终是一种良好的实践。
收集器的位置大小 |
端点/代理的数量 |
采集器上事件源的数量 |
建议最低CPU |
推荐的最小内存 |
推荐的最小磁盘空间 |
|---|---|---|---|---|---|
小 |
500 |
1 - 10 |
4 |
8 GB. |
60 GB |
媒介 |
2400 |
10 - 50 |
4 |
8 GB. |
80 GB |
大 |
每个CPU核高达600个 |
50 - 80 * |
4+ |
16 GB |
100 GB |
*如果你有超过80个事件源,你应该将事件源划分到多个收集器中。
大容量事件源在收集器上放置了更高的RAM和CPU负载,并将导致收集器处理的事件源总数更少。在向收集器添加一个会话事件源(如防火墙)之前,请检查其当前资源利用率(参见数据采集>采集器).
- 如果CPU利用率始终超过40%,则考虑向该位置添加另一个收集器,以处理一些事件源。
- 如果CPU利用率一致高于90%,则需要一个额外的收集器来处理负载。
重要的收藏家的局限性
所有collector必须配置一个完全限定的域名,例如:
- idrcollector1.myorg.com
对于端点扫描,收集器只能配置一个端点扫描凭据。因此,如果您对需要用于扫描不同端点范围的独立凭据有多个域或其他需求,则应该为每个域或凭据集规划一个单独的Collector。
如果希望从检查点防火墙收集日志,则必须使用在Windows上运行的收集器。即不能使用Linux Collector收集Checkpoint防火墙的日志。
由于默认的文件描述符设置,安装在Linux上的Collector能够支持的代理数量有限。对于大多数Linux系统,默认代理限制是2000个代理。要增加可以连接到Linux Collector的代理的数量,请将文件描述符的数量更改为希望Collector处理的代理数量的两倍。更多关于文件描述符设置的信息可以在这里找到:https://www.tecmint.com/increase-set-open-file-limits-in-linux.
如果您的组织中已经安装了exposure或InsightVM,请不要在现有的exposure控制台或exposure Scan Engine上安装Insight Collector Software,因为这会导致您的exposure系统出现问题。