robots.txt 是什么？它有什么用？

robots.txt 是什么？

    robots.txt 就是你网站和搜索引擎蜘蛛用于沟通的一个文件，当搜索引擎蜘蛛访问你网站的时候，蜘蛛第一个访问的并不是你网站的首页，而且检查你网站里面有没有robots.txt 文件 。

   如果你的网站里面没有robots.txt 文件，搜索引擎蜘蛛就会直接对你的网站进行抓取，然后对其进行收录，只要是被搜索引擎蜘蛛抓取到的网站，多有被收录的概率，也就是说你的网站后台也可以被收录，还有一些不想被用户看到的页面，也会被搜索引擎收录。

robots.txt 的作用是什么？

  而robots.txt文件的作用就是和搜索引擎蜘蛛进行沟通，你可以在robots.txt文件里面设置命令，搜索引擎蜘蛛访问你网站的时候就会访问robots.txt文件，当搜索引擎蜘蛛看到你robots.txt文件里面的命令之后，蜘蛛就不会抓取你禁止蜘蛛抓取的网页了。

  也就是让搜索引擎禁止收录你网站的某一个页面，例如你的网站后台，这样可以大大的增强网站的安全性，毕竟把自己的网站后台明目张胆的展现在别人面前，想想多有点害怕。

robots.txt 应该如何对其进行编写？

  关于robots.txt文件的编写，我会专门写一篇文章来教大家如何自己编写 robots.txt 文件，因为搜索引擎有很多种，而每一种搜索引擎的 robots.txt 文件的编写多不一样，到时候我会一一讲解国内各大搜索引擎的robots.txt文件的编写格式。