配置Web搜索
InsightVM可以爬行Web站点，以发现它们的目录结构、默认目录、服务器上的文件和应用程序、损坏的链接、不可访问的链接和其他信息。
应用程序然后分析这些数据，以寻找安全缺陷的证据，如SQL注入、跨站脚本(CSS/XSS)、备份脚本文件、可读的CGI脚本、不安全的密码使用，以及其他由软件缺陷或配置错误导致的问题。
一些内置扫描模板默认使用Web spider:
- 网络审计
- 遵守HIPAA
- 互联网DMZ审计
- 支付卡行业(PCI)审计
- 全面审计
您可以在这些模板中调整设置。还可以在自定义模板中配置Web爬行设置。爬行器检查每个Web页面中的链接，以确定哪些页面已经被扫描。在许多Web站点中，尚未被扫描的页面将在地址栏中显示一个基础URL，后面跟着一个参数定向链接。
例如，在地址中www.exampleinc.com/index.html？id=6， ?id=6参数可能是指应该传递给浏览器的内容。如果您允许设置包含查询字符串，爬行器将检查完整的字符串www.exampleinc.com/index.html？id=6查询已检索的所有URL页面，以查看该页面是否已被分析。
如果不启用该设置，爬行器将只检查不带?id=6参数的基础URL。
要访问网站进行扫描，应用程序会使自己在Web服务器应用程序中显示为流行的Web浏览器。它通过像浏览器一样向服务器发送网页请求来实现这一点。请求包括称为头的信息。其中一个标题称为用户代理，它定义了用户浏览器的特征，例如其版本号及其支持的Web应用程序技术。用户代理将Web站点的应用程序表示为特定浏览器，因为某些Web站点将拒绝来自其不支持的浏览器的HTTP请求。默认用户代理字符串将目标网站的应用程序表示为Internet Explorer 7。
Web爬行的配置步骤和选项
配置一般的Web spider设置:
- 去网络搜索页面的扫描模板配置面板。
- 选中复选框以启用Web爬行。
包含带有Web爬行的查询字符串复选框将导致爬行器向Web服务器发出更多请求。这将增加总体扫描时间，并可能影响合法用户的Web服务器性能。
- 如果需要，选择适当的复选框以在爬网时包括查询字符串。
- 如果希望爬行器在一次扫描期间测试持久性跨站点脚本，请选中该选项的复选框。这个测试有助于降低通过存储在Web服务器上的恶意代码进行危险攻击的风险。启用它可能会增加Web spider的扫描时间。
更改默认用户代理设置可能会更改应用程序从网站接收的内容。
- 如果要更改中的默认值浏览器ID（用户代理）字段输入一个新值。如果您不确定要为User-Agent字符串输入什么，请咨询Web站点开发人员。
- 如果需要，请选择选项来检查使用普通用户名和密码。应用程序将这些凭据的使用报告为一个漏洞。这是一种不安全的做法，因为攻击者很容易猜到它们。启用此设置后，应用程序将尝试通过向发现的身份验证表单提交常用用户名和密码来登录Web应用程序。多次登录尝试可能会导致身份验证服务锁定带有这些凭证的帐户。
（可选）启用Web spider来检查弱凭据的使用:
当Web spider在扫描过程中发现登录表单时，它可以确定这些表单是否接受常用的用户名或密码，这将使它们容易受到利用这一实践的自动攻击。为了执行检查，Web爬行器尝试使用常用的凭据通过这些表单登录。任何成功的尝试都被视为弱点。
这种检查可能会导致具有某些安全策略的身份验证服务锁定使用这些常用凭证的帐户。
- 去弱凭证检查区域，并选择标记为检查常用用户名和密码的使用情况。
配置Web spider性能设置:
进入国外主机的最大数量来解决，或留下100的默认值这个选项设置蜘蛛可以解决的唯一的主机名的最大数量。此功能增加了大量的时间来抓取过程中，尤其是对于大型网站，因为涉及频繁的交联检查。可接受的宿主范围是1至500。
输入时间的数量，以毫秒为单位蜘蛛响应超时字段，以等待来自目标Web服务器的响应。可输入1 ~ 3600000毫秒(1小时)。缺省值为120000毫秒(2分钟)。属性中指定的值将重试请求爬行器请求的最大重试次数字段。
在标记的字段中键入一个数字可爬行的最大目录级别为Web爬行设置目录深度限制。限制目录深度可以节省大量时间，特别是对于大型站点。对于无限目录遍历，请在字段中键入0。缺省值是6。
如果您运行带有时间限制的定期扫描，目标站点的部分内容可能在时间限制结束时仍然不被扫描。后续的扫描不会在Web爬行器停止的地方重新开始，因此可能永远不会完整地扫描目标Web站点。
- 在列表中键入一个数字最大蜘蛛时间(分钟)现场设置分钟的最大数量为扫描每个Web站点。时间限制防止扫描采取长于扫描作业分配的时间窗口，尤其是在大的目标网站。如果你离开的默认值0，没有时间限制适用。可接受的范围是1至500。
- 在列表中键入一个数字可爬行的最大页面数字段以限制爬行器请求的页数。这对于大型站点来说是一种节省时间的措施。可接受的范围为1到1000000页。
如果同时设置了时间限制和页面限制，则当达到第一个限制时，Web爬行器将停止扫描目标Web站点。
- 输入时间的号码重试在发生故障后要求爬行器请求的最大重试次数领域输入0到100之间的值。值0表示不重试失败的请求。默认值为2次重试。
配置与正则表达式相关的Web spider设置:
- 输入敏感数据字段名称的正则表达式，或保留默认字符串。应用程序报告指定为敏感漏洞的字段名：表单动作在clear中提交敏感数据。任何正则表达式匹配将被视为敏感数据的字段名。
- 敏感内容请输入正则表达式。应用程序报告为指定为敏感的漏洞字符串。如果将该字段保留为空，则它不会搜索敏感字符串。
配置与目录路径相关的Web spider设置：
- 选中复选框，指示爬行器遵守中规定的标准robots.txt.协议robots . txt是一种惯例，用于防止爬行器和其他Web机器人访问所有或部分公开可见的Web站点。
任何包含的引导路径的扫描范围取决于您在Web spider配置中设置的时间和页面限制。如果扫描在扫描引导路径之前达到了指定的时间或页面限制，它将不会扫描这些路径。
- 控件中的主Web站点URL中没有链接的应用程序的基本URL路径引导路径如果你想现场蜘蛛将这些网址。例如：/ MyApp的。多个条目之间用逗号分隔。如果你离开领域的空白，蜘蛛不包括在扫描引导路径。
- 参数中输入要排除的基本URL路径排除路径字段。多个条目之间用逗号分隔。如果指定了排除路径，应用程序将不会尝试爬行这些url，也不会发现与这些url相关的任何漏洞或文件。如果将该字段保留为空，爬行器不会从扫描中排除任何路径。
根据需要配置其他任何扫描模板设置。当您完成配置扫描模板，单击保存。
网络搜索的限制
如果您在扫描打印机时遇到异常行为，请在配置过程中取消“不要扫描打印机、多用途设备或打印服务器”选项。
微调Web搜索
Webspider对Web服务器进行爬网，以确定网站的完整布局。这是一个彻底的过程，这对保护网站很有价值。大多数Web应用程序漏洞测试都依赖于Web爬网。
InsightVM使用爬行器数据评估自定义Web应用程序的常见问题，如SQL注入、跨站脚本(CSS/XSS)、备份脚本文件、可读的CGI脚本、不安全的密码使用，以及许多其他由自定义软件缺陷或错误配置导致的问题。
默认情况下，Web爬行器使用三个线程爬行站点，每个请求延迟20毫秒。由此产生的流量取决于被发现的、链接的网站内容的数量。如果您在多处理器系统上运行应用程序，请将每个处理器的爬行器线程数增加到3个。
假设目标资产平均每150毫秒可以服务一个页面，则对承载500个页面的响应服务器进行完整的Web spider扫描将花费略少于90秒的时间。对承载10000个页面的同一服务器进行扫描将花费约28分钟的时间。
当您配置为Web蜘蛛扫描模板，输入目录，或深度的最大数量，以及页面的每个网站抓取的最大数量。这些数值可以限制的时间量的Web蜘蛛需要。默认情况下，蜘蛛忽略只在终点是扫描跨站点链接和住宿。
如果您的资产清单不包括网站，请确保关闭此功能。这可能非常耗时。