robots.txt 是什么?它有什么用?
robots.txt 是什么?
robots.txt 就是你网站和搜索引擎蜘蛛用于沟通的一个文件,当搜索引擎蜘蛛访问你网站的时候,蜘蛛第一个访问的并不是你网站的首页,而且检查你网站里面有没有robots.txt 文件 。
如果你的网站里面没有robots.txt 文件,搜索引擎蜘蛛就会直接对你的网站进行抓取,然后对其进行收录,只要是被搜索引擎蜘蛛抓取到的网站,多有被收录的概率,也就是说你的网站后台也可以被收录,还有一些不想被用户看到的页面,也会被搜索引擎收录。
robots.txt 的作用是什么?
而robots.txt文件的作用就是和搜索引擎蜘蛛进行沟通,你可以在robots.txt文件里面设置命令,搜索引擎蜘蛛访问你网站的时候就会访问robots.txt文件,当搜索引擎蜘蛛看到你robots.txt文件里面的命令之后,蜘蛛就不会抓取你禁止蜘蛛抓取的网页了。
也就是让搜索引擎禁止收录你网站的某一个页面,例如你的网站后台,这样可以大大的增强网站的安全性,毕竟把自己的网站后台明目张胆的展现在别人面前,想想多有点害怕。
robots.txt 应该如何对其进行编写?
关于robots.txt文件的编写,我会专门写一篇文章来教大家如何自己编写 robots.txt 文件,因为搜索引擎有很多种,而每一种搜索引擎的 robots.txt 文件的编写多不一样,到时候我会一一讲解国内各大搜索引擎的robots.txt文件的编写格式。
评论列表