首页   帮助 正文

什么是蜘蛛引导次数?爬取次数与引导次数的区别

作者:    时间:2024-08-07

蜘蛛爬行一个页面,我们记录为一次爬取。

在这个页面中展现了10条不同的url,那么每个url都进行了一次蜘蛛引导。

这10条url被蜘蛛抓取回服务器后,都有几率会被蜘蛛直接爬取。

每一次引导,蜘蛛都有一定几率会爬。那么引导次数越多,几率越接近100%


如果提交url的时候选择了301跳转,那么引导次数就变成了爬取次数,可以立即达到蜘蛛90%概率爬取


建议初次先选择引1000次或2000次,引完后过2-3天查一下URL收录没,如果没收录可以选择更高次数进行引蜘蛛