网络爬虫时候，我们的ip会被网站所记录，如果抓取的速度过于快，那么就会有可能禁用。爬虫的漏洞扫描是怎么样的呢?

1、页面过滤：通过自动化的程序抓取网站页面，对包含标签的Web页面进行URL提取处理，这些HTML标签中包含URL信息，便于恶意用户进行更深入的Web访问或提交操作。

2、漏洞试探：根据动态查询URL或提交URL，自动在参数部分进行参数变换，插入引号、分号(SQL注入对其敏感)及script标签(XSS对 其敏感)等操作进行试探，并根据Web服务器返回的结果自动判断是否存在漏洞。

3、URL匹配：对Web页面中的URL进行自动匹配，提取由参数组合而成的动态查询URL或提交URL，进行下一步的漏洞探测。提交URL用于把Web用户的输入提交到服务器进行处理，其参数多为用户输入，同样可以进行参数变换。

要做好网络爬虫，有很多地方需要关注，特别是网络ip这一块。