抓取带宽管理
Posted: Tue Jan 28, 2025 9:10 am
谷歌工程师当然明白，每个网站都有一定数量的对用户有用的“实用”页面，但不一定是应该作为搜索目标页面的内容类型页面：用于与他人共享内容、回复评论、登录、找回丢失的密码等的页面。
如果您的 XML 站点地图包含所有这些页面，那么您向 Google 传达了什么信息？您或多或少不知道您网站上哪些内容是好内容，哪些不是。
这是您想要为 Google 描绘的图景 工程师数据库 是的，我们有一个包含 1,000 个页面的网站……而这 1,000 个页面中的 475 个是我们出色的内容页面。您可以忽略其他页面 — 它们是实用页面。
现在，假设 Google 抓取了这 475 个页面，并根据其指标确定其中 175 个为“A”级，200 个为“B+”，100 个为“B”或“B-”。这是一个相当不错的总体平均值，可能表明这是一个相当可靠的网站，值得用户访问。
相比之下，如果某个网站通过 XML 站点地图提交了所有 1,000 个页面，那么 Google 会查看您认为内容不错的 1,000 个页面，发现其中 50% 以上是“D”或“F”页面。平均而言，您的网站相当糟糕；Google 可能不想让用户访问这样的网站。
隐藏的绒毛
请记住，Google 会使用您在 XML 站点地图中提交的内容作为线索，判断您的网站上哪些内容可能很重要。但仅仅因为这些内容不在您的 XML 站点地图中并不一定意味着 Google 会忽略这些页面。您可能仍有数千个页面，这些页面的内容和链接权益勉强够用，无法被索引，但实际上不应该这样。
进行网站搜索很重要，因为这样可以查看Google 为您的网站编制索引的所有页面，从而发现您忘记的页面，并通过设置元机器人“noindex,follow”（或在 robots.txt 中阻止）将这些页面从 Google 为您的网站提供的“平均等级”中清除。通常，仍编入索引的最弱页面将在网站搜索中列在最后。
如果您的 XML 站点地图包含所有这些页面，那么您向 Google 传达了什么信息？您或多或少不知道您网站上哪些内容是好内容，哪些不是。
这是您想要为 Google 描绘的图景 工程师数据库 是的，我们有一个包含 1,000 个页面的网站……而这 1,000 个页面中的 475 个是我们出色的内容页面。您可以忽略其他页面 — 它们是实用页面。
现在，假设 Google 抓取了这 475 个页面，并根据其指标确定其中 175 个为“A”级，200 个为“B+”，100 个为“B”或“B-”。这是一个相当不错的总体平均值，可能表明这是一个相当可靠的网站，值得用户访问。
相比之下，如果某个网站通过 XML 站点地图提交了所有 1,000 个页面，那么 Google 会查看您认为内容不错的 1,000 个页面，发现其中 50% 以上是“D”或“F”页面。平均而言，您的网站相当糟糕；Google 可能不想让用户访问这样的网站。
隐藏的绒毛
请记住，Google 会使用您在 XML 站点地图中提交的内容作为线索，判断您的网站上哪些内容可能很重要。但仅仅因为这些内容不在您的 XML 站点地图中并不一定意味着 Google 会忽略这些页面。您可能仍有数千个页面，这些页面的内容和链接权益勉强够用，无法被索引，但实际上不应该这样。
进行网站搜索很重要，因为这样可以查看Google 为您的网站编制索引的所有页面，从而发现您忘记的页面，并通过设置元机器人“noindex,follow”（或在 robots.txt 中阻止）将这些页面从 Google 为您的网站提供的“平均等级”中清除。通常，仍编入索引的最弱页面将在网站搜索中列在最后。