Google 爬虫如何抓取 JavaScript 的内容

我们深入测试了谷歌爬虫如何抓取和处理JavaScript内容，而狼蚁网站的SEO优化策略便是基于我们从中汲取的知识和见解。

你是否知道Google能够执行JavaScript并读取DOM？Audette Audette分享了一系列令人惊奇的测试结果。这些测试旨在了解什么样的JavaScript功能会被谷歌爬虫抓取和收录。

测试结果让我们了解到，Google不仅有能力执行多种JavaScript事件，还能收录动态生成的内容。这一切的秘诀在于Google能够读取DOM。DOM作为文档对象模型，是浏览器和网页内容之间的桥梁。当浏览器请求页面时，DOM参与构建和组合HTML和XML数据。

在一系列严谨的实验中，我们了使用JavaScript进行页面重定向对搜索引擎排名的影响。我们在权威网页上使用了完全相同的内容，通过JavaScript重定向到一个新页面，同时保持原始URL在Google热门查询的首页位置。

结果令人振奋。尽管进行了重定向，Google依然能够跟踪到该操作，而原始页面并未受到影响。新URL被迅速收录，并保持在相同查询页面的相同位置。这一结果似乎表明，在某些情况下，JavaScript重定向行为类似于永久的301重定向。

当你的客户考虑使用JavaScript重定向时，你或许不再需要顾虑重重。因为Google似乎对使用JavaScript进行重定向持开放态度。但要注意的是，这种重定向必须在遵循Google指南的前提下进行，确保其意图是为了优化用户体验。虽然使用JavaScript重定向是一个合法的选择，特别是当你无法访问服务器时，但最好的做法仍然是使用标准的301重定向跳转。

接下来，我们对不同类型的JavaScript链接进行了测试。例如，下拉菜单中的链接在过去一直无法被搜索引擎跟踪。我们特别关注onchange事件处理器是否能被搜索引擎捕捉。测试结果令人欣喜，这些链接被完整抓取和跟踪。我们还测试了常见的JavaScript链接类型，包括使用不同的编码方式实现的链接。结果同样显示，这些链接也被搜索引擎完整捕捉。

在进行实验的过程中，我们进行了一个有趣的补充实验，以理解在存在冲突信号的情况下，哪一个信号会胜出。例如，当源码中有noindex、nofollow标签，而DOM中有noindex、follow标签时，会发生什么情况？我们的测试显示，当发生冲突时，Google会倾向于忽略源码中的标签，而支持DOM中的设置。

接下来，我们讲述了一个带有rel="nofollow"的重要例子。我们测试了Google如何处理源码和DOM中出现的nofollow属性。实验结果显示，源码中的nofollow属性如预期运行，而DOM中的nofollow属性则失效。这是因为Google在执行JavaScript函数添加rel="nofollow"之前，已经准备好了抓取链接并排队等待URL。

历史上有许多SEO推荐专注于“纯文本”内容，而避免使用动态生成内容、AJAX和JavaScript链接，因为后者可能会对SEO造成损害。现在的情况已经发生了改变。Google已经能够完全渲染页面并理解DOM，而不仅仅是源码。这一进步令人难以置信。

Google已经在创新方面以惊人的速度将其他搜索引擎甩在身后。对于SEO从业者来说，那些没有深入理解上述基本概念和Google技术的人需要赶紧赶上时代的步伐。如果不考虑DOM的影响，可能会丢失大量的市场份额。

本文所述观点部分由Search Engine Land（一家搜索引擎网站）提供，部分由客座作者阐述。在此感谢所有作者的精彩观点与深入研究。搜索引陆团队将继续关注并报道搜索引擎领域的动态和趋势。