群利营销

搬开别人的绊脚石,是在为自己铺路! 学习 交流 分享

robots文件:差之毫厘,谬以千里

群利关于网站收录多日的担心今天终于解脱了

因为弄清楚了一点:

User-agent: *
Disallow:
意思是允许所有的搜索引擎抓取;

User-agent: *
Disallow: /
意思是不允许所有的搜索引擎抓取;

担心来自于没有看到而误以为网站不被收录,然而找这个文件又找不到

原来wordpress默认了让所有搜索引擎抓取,难怪通过ftp在文件中找不到robots.txt这个文件

只怪自己没有看清楚这个斜杠/

下次不犯这种低级错误了!

郑州网络公司之群利营销策划原创文章


群利网络营销策划


群利提供网络营销培训营销咨询顾问网站建设网络推广
详情请登陆www.qunli.net
用心所以高效,服务铸就品牌!

« 关于在线客服系统群利近段对百度和谷歌的观察 »

最新评论及回复

  • 火牛火牛 | 2009-7-20 10:03:07
  • http://www.huobaowang.com
  • 此文件有利有弊,当初不太懂此文件作用,通过查找相关资料后。

    后来发现此文件容易爆漏网站目录,严重可能会为注入者提供些许方便。

    此问题有待探讨,如果群利有别的经验,希望分享一下。

    例:网站后台:/admin/admin_login.aspx
    那么
    User-agent:*
    Disallow:/admin
    禁止任何搜索引擎抓取此目录下的任何文件。

    如果有经验的。可以通过网站地址加上robots.txt

    直接访问此文件从而得到后台地址,为后续注入工作提供了方便。
  • 回复该留言

发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最近发表

网站分类

相关文章

最新评论及回复

Powered By Z-Blog 1.8 Spirit Build 80722

Copyright 郑州网络公司 郑州网站建设 Some Rights Reserved XHTML+CSS By 7thPark.