慧鸿网络-小白学习建站,编程,系统必看网站

当前位置:主页 > 建站 >

robots应该禁止哪些文件不被搜索引擎抓取?哪些被抓取到?

建站有段时间的老站长都知道robots的写法,但是很多新手可能对robots应该禁止哪些文件不被搜索引擎抓取?哪些被抓取到不是很了解,今天小编就跟大家详细介绍下,robots.txt的写法,希望对大家有所帮助。

robots应该禁止哪些文件不被搜索引擎抓取?哪些被抓取到?

说法网上有一大堆,很多新手也不知道谁对谁错,在此我就介绍下吧:

首先说明一点:每天百度派出的蜘蛛是有限的,robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录!

针对企业站来说,本身蜘蛛资源不会很多,所以我们更要珍惜蜘蛛的每次爬取,让其都有意义,不要去爬取一些无价值的页面,浪费了蜘蛛资源,从而导致网站迟迟未收录,没排名等情况!

下面将织梦程序的网站举例说明:

1、模板文件(/template/)可以屏蔽,

2、这个文件/uploads/一般放的是图片,可以屏蔽;

3、/data/系统数据文件,可以屏蔽;

4、/img/或/images/,如果你不是做的图片站,也可以屏蔽;

5、/bin/系统文件可以屏蔽;

6、/install/安装文件可以屏蔽;

7、/member/有会员的可以屏蔽;

8、/logreport/有统计报告的可以屏蔽;

9、/bjk/有加密的文件,可以屏蔽;

10、/js/,/css/可以屏蔽,留着是为了让蜘蛛更好地了解网站结构,资源少的情况下,可以屏蔽。

11、网站地图,sitemap要记得放进去,不要屏蔽,让蜘蛛第一时间去看你的网站地图,更快了解网站链接结构!

以上就是今天小编和大家做的总结,希望对大家有所帮助。

  • 上一篇:七色光联盟攻击网站垃圾团队,人人喊打的“过街老鼠”
  • 下一篇:cdn对网站的作用是什么?小网站需要用cdn吗?
  • 猜你喜欢

    商务合作

    • 微信公众号
    • QQ交流1群
    • 手机版访问
    站内信 官方群 客服 二维码 返回顶部