查看完整版本: [-- SEO 蜘蛛协议必需秘籍!更有效的让蜘蛛认识你(转) --]

-> 电脑技术 -> SEO 蜘蛛协议必需秘籍!更有效的让蜘蛛认识你(转) [打印本页] 登录 -> 注册 -> 回复主题 -> 发表主题

勿忘我 2010-09-25 19:59

SEO 蜘蛛协议必需秘籍!更有效的让蜘蛛认识你(转)

User-agent: *
Request-rate: 1/2s 0000-0930
Request-rate: 1/2s 1630-2359
Request-rate: 1/10s 0931-1629
#指定同一个网络蜘蛛每多少秒采集一次网页和采集时间段,例如1/10S 0600-0845


解析:1/10S 10秒抓取1个页面 、0600-0845 意思就是早上06:00到08:45


Request-rate: 1/10s 0931-1629 例如这段 意思就是 早上09:31分钟至下午16:29分 这段时间指示搜索引擎蜘蛛最快10秒抓取1个页面 不允许蜘蛛抓取太快 这样做的优点是 抓取页面的时间延长了 搜索引擎蜘蛛能够更加抓取到成功的页面,不会导致出现漏爪现象


#Crawl-delay: 10   意思是同1个搜索引擎蜘蛛来访协议时间间隔10秒
#同一个网络蜘蛛两次采集网站内容的时间间隔,单位是秒


Visit-time: 0000-0930   意思是从00:00开始到09:30这个时间段允许抓取
Visit-time: 1630-2359  意思同上只是时间的不同


Disallow: .jpg$  禁止抓取的格式
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$


Allow: /default.asp  允许蜘蛛抓取的页面
Disallow: /default.asp?* 禁止抓取的样式
Disallow: /?*
Disallow: /innernews/ 禁止抓取的目录
Disallow: /Marketing/


 


总结:更有规律的引导蜘蛛抓取协议 可以提高蜘蛛对您站的定时来访


本文转自郑辉QQ空间


gfdscghjvr 2011-12-17 10:33
谢谢提供,继续努力!








广州高空车出租  www.686gz.cn 东莞高空车出租 广州高空车出租

缘份天空 2012-02-17 09:43
支持支持


查看完整版本: [-- SEO 蜘蛛协议必需秘籍!更有效的让蜘蛛认识你(转) --] [-- top --]


Powered by phpwind v8.7 Code ©2003-2011 phpwind
Time 0.022686 second(s),query:2 Gzip disabled