CV Data

跟踪您的链接的良好技术，但它却被大量用于实现相反的目标。当用于 雕刻时，使用 链接的目的是使这些链接仅对用户可见。如果您出于此目的使用此技术，最好随时了解 可以识别和执行的内容以及不能识别和执行的内容。为了测试 的 功能，我们采用了“ 优化专业指南”中所述的 代码并对其进行了测试。 在我们的测试中， 执行和跟踪的唯一代码是简单的“”行中的链接。这并不排除 能够识别和执行更高级脚本的可能性。 可能需要额外的触发器（如传入链接）来将更多精力投入到 抓取中。 爬行面包屑 面包屑导航是网页上专为用户创建的典型元素。


有时它们也用于支持网站结构。上个月我们遇到了一些问题， 无法爬取，所以我们做了一些测试。 我们创建了一个深度为几层的页面，其中包含一些内容和指向更高级别的链接 。 我们为该页面提供了一些传入链接，然后等待 。虽然深层 哥斯达黎加数字数据 页面本身被抓取工具访问了 次，但更高级别的页面却没有被访问。 随机 页面 为了验证这个结果，我们在另一个域上进行了同样的测试。这次测试页面在网站结构中比上层深了几个层次（）。这次 确实跟踪了一些指向网站结构中上层页面的链接。尽管 确实跟踪了这些链接，但这似乎并不是支持网站结构的好方法。 几周后， 仍然没有抓取所有上层页面。


看起来 更愿意抓取更深层的网站结构，而不是上层页面。 总结 简而言之，我们学到的教训是，站点地图可以影响抓取率。但这并不意味着您应该始终为网站上传站点地图。只有当您抓取的大部分页面被编入索引时，您才需要提高抓取率。抓取工具返回“”级页面所需的时间比返回编入索引的页面所需的时间更长。因此，如果您的大多数页面都被抓取，但从索引中删除，您可能需要考虑在使用站点地图之前获取更多传入链接。最好的做法是监控 上次访问每个页面的时间。 使用此方法，您可以始终识别站点结构中的问题。 链接数量不限于 个链接（即使您没有入站链接），尽管 个链接似乎太多了。