站长爱看

ROBOTS文件和META ROBOTS

小猪站长 发表于 2019-08-21 20:54

ROBOTS文件(robots.txt)是位于网站根目录的文件,也称为机器人排除协议或标准,它告诉搜索引擎网站哪些页面要抓取,哪些页面不抓取。 META ROBOTS是一个元标记,可以单独写入网页。 它也是一个计算机程序,为搜索引擎提供阅读网页的指导。

评论 (0人参与

最新评论

暂无评论
小猪站长


文章:191
推荐阅读
   1715   
   1615   
   1568   
   1694   
   1542   
小猪站长   2019-06-12 21:03:45
   1534   
   1544   
   1956