Meta Robots 标签 Meta robots 标签为搜索引擎机器人创建页面级指令。Meta robots 标签应包含在 HTML 文档的 head 部分，可能如下所示： <html> <head> <title>文章打印页面< 下面是通常支持的命令表及其用途说明。
命令 描述 索引 防止页面被收录到索引
中 不关注 防止机器人跟踪页面上 电报筛查 的链接 非档案 阻止页面的缓存副本出现在搜索结果中 无片段 防止描述出现在搜索结果中的页面链接下方，并防止页面缓存 良性发展计划 阻止开放目录项目 (DMOZ.org) 的页面描述显示在搜索结果中 诺迪尔 阻止 Yahoo! 目录页面的标题和描述显示在搜索结果中 规范标签 Canonical 标签是放置在网页 HTML 标题中的页面级元标签。
它告诉搜索引擎哪个
URL 是当前显示页面的规范版本。其目的 灯光、摄像机、LinkedIn：制作出色视频的秘诀 是防止重复内容被搜索引擎索引，同时将您的页面强度整合为一个“规范”页面。 代码如下： <link rel=”canonical” -机器人标签 自 2007 年以来，Google 和其他搜索引擎都支持 X-Robots 标签，以便在用于提供文件的 HTTP 标头中告知机器人抓取和索引的偏好设置。
X-Robots 标签对于控制非 HTML
媒体类型（例如 PDF 文档）的索 阿拉伯联合酋长国电话号码 引非常有用。 例如，如果要从搜索索引中排除某个页面，则指令将如下所示： X-Robots-标签：noindex Robots.txt Robots.txt 允许搜索引擎机器人对网站的访问进行一定程度的控制，但它并不能保证页面不会被抓取和索引。