论坛风格切换切换到宽版
  • 2140阅读
  • 0回复

Google让蜘蛛自动填表提交 以抓取更多网页 [复制链接]

上一主题 下一主题
离线缘份天空
 

发帖
2673
铜币
26498
威望
772
只看楼主 倒序阅读 使用道具 楼主  发表于: 2008-04-13

  北京时间4月12日消息,据国外媒体报道:美国搜索巨头谷歌公司最近开始在网页抓取蜘蛛中实施一项新技术:他们可以让蜘蛛自动填写某些网页中的表格,并且自动提交到服务器上,对反馈页面进行抓取,从而获取更多有关这个网站的详细信息。

  媒体分析认为,这将对网站的信息安全构成威胁。

  一般来说,表格(Form)是网站方面用来收集用户信息的一种方式。比如用户申请成为注册会员,需要提交相关的身份资料。表格将会把这些数据提交到服务器上,服务器上的网页将会给出下一步提示。

  在过去,谷歌公司的蜘蛛机器人并不会填写表格,因为也无法知道下一步的提示网页内容。

  最近,谷歌公司对抓取系统进行了升级。机器人将会根据表格中各个项目的名字,自动填写数据提交给服务器,这样,服务器的反馈页面也将被机器人所抓取,谷歌将会获得这个网站的更多信息。

  谷歌公司在一个博客中表示,他们会对这个功能采取谨慎态度。比如最开始,一些十分有用的网站才会采用自动填表的手段。另外,网站管理员可以在robots.txt文件中,对于是否允许谷歌提交表格作出规定,谷歌不会违反网站管理员的意愿。

  有搜索行业专家表示,谷歌公司的这一功能,将会对企业网站的信息安全构成威胁。

快速回复
限100 字节
批量上传需要先选择文件,再选择上传
 
上一个 下一个