搜索引擎每天都在收录的大量的信息数据， 主要对象是海量的网页，一方面为了节省带宽、计算和存储资源，所以在搜索引擎在处理海量网页的时候会有一定的策略性。本文主要简单介绍了宽度优先，兼顾深度的遍历策略、不重复抓取策略、大站优先策略、非完全PageRank策略、OCIP策略、合作抓取策略等主流的网页抓取策略。下面由小刀网络给大家讲讲吧。
1、宽度（广度）优先，兼顾深度的遍历策略；
1.1广度优先的存在不利结果：
容易导致爬虫陷入死循环，不该抓取的反复抓取；
应该抓取的没有机会抓取；
① 采用广度优先的原因：
重要的网页往往离种子站点距离较近；万维网的深度没有我们想象的那么深，但却出乎意料地宽（中文万维网直径长度只有17，即任意两个网页之间点击17次后便可以访问到）；
宽度优先有利于多爬虫合作抓取；
应该抓取的没有机会抓取；
③ 为了防止爬虫无限制地宽度优先抓取，必须在某个深度上进行限制，达到这个深度后停止抓取，这个深度就是万维网的直径长度。当最大深度上停止抓取时，那些深度过大的未抓取网页，总是期望可以从其他种子站点更加经济地到达。限制抓取深度会破坏死循环的条件，即使出现循环也会在有限次后停止。
④ 解决以上两个缺点的方法是深度抓取策略和不重复抓取策略，另外就是增大网页访问量，这一点我推荐美国站群，小刀网络就可以提供。
保证一个变化不大的网页只抓取一次即可，防止重复抓取占用大量CPU和带宽资源，从而集中有限的资源区抓取更重要、质量更高的网页。
增加爬虫数量可以提高总体抓取速度，但需要将工作量分解给不同的网页爬虫，以保证分工明确，防止出现多个爬虫抓取相同的页面，浪费资源。
① 通过web主机服务器的IP地址来分解，让某个爬虫仅抓取某个地址段的网页
对于中小型网站，出于经济的考虑，通常会在一台服务器中提供不同的web服务，这样就出现多个域名对应一个IP段的情况；但新浪、搜狐等大型网站通常采用负载均衡的IP组技术，同样的域名对应多个IP地址。所以这种方式并不方便
② 通过网页域名来分解，使某个爬虫仅抓取某个域名段的网页
将不同域名分配给不同爬虫抓取，某一个爬虫只抓取固定域名集合下的网页；这样保证不重复抓取大型网站的网页，中小型网站即便重复抓取也可以接受的策略分配任务。所以，为了抓取大网站，按照域名分解的策略更加合理。
3、大站优先策略（Larser Site First）
通常大型网站都是优质的内容，网页质量一般较高，以网站为单位来衡量网页重要性，是有一定依据的。对于待抓取URL队列中的网页，根据等待下载的页面多少来判断下载优先级。
4、非完全PageRank策略(Partial PageRank)
对于已经下载的网页（不完整的互联网页面的子集）内，加上待抓取的URL队列中的URL一起，形成网页集合，在此集合内部进行PageRank计算；计算完成以后，将待抓取URL队列里的网页按照PageRank得分由高到低排序，形成序列就是爬虫接下来应该依次抓取的URL列表。
由于PageRank是一个全局算法，就是当所有网页都被下载完成以后，其计算结果才是可靠的，但是爬虫在抓取过程中只能接触到一部分网页，所以在抓取阶段的网页时无法进行可靠的PageRank计算的，所以叫做非完全PageRank策略。
5、调整重要内容页面以提高排名，针对重要关键字加粗，重点解释，向搜索引擎提交网页
