因为否则Google将无法知道该页面

sima8494636@gma

它将根据锚点放置标题，对于元描述，它将显示以下内容： 元描述不允许 robots txt 如果你想阻止一个页面的索引，最好使用元标记：robots并删除disallow，是否在noindex中。 阻止所有爬虫： <元名称=“机器人”内容=“noindex”> 要阻止 Googlebot： <元名称=“googlebot”内容=“noindex”> 有关该主题的资源： Robots.txt 文件概述和指南 |谷歌搜索中心 |文档 谷歌：尽管禁止通过robots.txt文件进行抓取和索引 另一个缺点是，如果一个页面被禁止但它收到了链接，Google 将无法在该页面上存在的链接之间分配这些链接的汁液，因为它无法抓取该页，因此这将是一种损失。


什么是用户代理或用户代理？ 用户代理是代表用户运行的任何软件，“检索、呈现并促进最终用户与网络内容的交互”。 每个浏览网络的设备都被分配了一个用户代理，无论是机器 德国手机号码 人还是人类。例如，对于人类来说，我们将能够看到所使用的浏览器以及操作系统。每次连接到网站时，浏览器都会将其用户代理发送到该网站。 借助 robots.txt 文件，网站管理员可以通过为每个用户代理放置指令来向机器人发出特定指令。




例如，你想要 在 robots.txt 文件中，网站管理员可以通过为机器人用户代理编写不同的指令来为特定机器人提供特定指令。 ROBOTS.TXT 文件的语法 机器人txt语法 robots.txt 文件包含您经常遇到的 5 个术语： disallow ：这是阻止抓取所选 URL 的命令。 允许：此命令告诉Googlebot（及其本身）即使父页面或父文件夹被禁止，它也可以访问页面或子文件夹。 user-agent ：这涉及选择将指令发送到哪个爬虫。 crawl-delay ：告诉爬虫在爬行页面内容之前要等待多少秒。 （Googlebot 忽略此指示） sitemap ：用于向爬虫指示 sitemap.xml 的位置。 资源：Google 如何解释 robots.txt 规范 |文档 WEB HORS PISTE 如何帮助我 Web Hors Piste团队 支持您定义和优化公司的数字战略。 如果您有任何疑问，请随时与我们联系并寻求专家建议。