大拿分享：如何保证网站长期的SEO健康度

4月底的北京移动化培训后，我们认识了艺龙SEO负责人刘明，他认为很多SEOer是只看整体数据判断网站是否有问题，而站点应该做的是每周出具一份详细科学的体检报告，能最早从很多细节指标上发现问题——学院感觉这个内容非常有价值，于是请刘明做了分享

本篇文章的意义之一，很多站长对自己网站健康状况没有头绪

在百度举办的活动上，有不少的站长会向百度工作人员提出一些根本无法回答的问题收录掉了，怎么办?抓取掉了，怎么办?流量掉了，怎么办?排名掉了，怎么办?收录不及时，怎么办?

这些问题太笼统了，即使把百度所有后台数据完全开放，也无法解答。提问的人肯定是连网站的基本结构都没有清晰的认识。好的问题是怎样的?耐心看完就有答案了。

本篇文章的意义之二，产品改版对SEO造成毁灭性打击

SEO最严重的问题，往往不是SEO问题，而是产品问题，或技术问题。有些大型网站每次大改版都是这样的

1，会更换一套URL pattern。

2，由于数据的不兼容，旧版本pattern无法301到最新版。

3，即使数据兼容，也忘了做301。

我问过一个产品经理，这个产品的URL换过多少pattern， 答案是3到4个。我从web.archive.上看，最少8个。平均每年换一个。稍微有一点搜索引擎基本常识的人应该能意识到，这种网站是典型的no zuo no die。

本篇文章的意义之三，长期的迭代开发流程中，SEO的需求可能被逐步改错

在产品，技术和测试的思维中，往往是没有URL的清晰定义的，只要页面能访问，内容是对的就合格了.以下几种URL都是被认为没问题的，更不要提SEO的其他基本规范了。也就是说，事实上除了SEO没有人关心这些东西，每个开发环节都可能遗漏或者搞错一些东西

1，http://.a./product(category)/

2，http://.a./product.html/

3，http://.a./product/?channel=123&category=abc&brand=def&tracking=other_website

曾经有一个产品，本来谷歌收录量达到了3000万，百度收录2000万，流量也不错，精力挪到别的产品上去了。 过了1个月发现流量有所下滑，以为是季节因素，没有在意，又过了2个月，流量下降非常多。仔细检查了一下发现一个惊人的变化。

1，本来收录的地址是http://.a./product/item100.html

2，在没有被告知的情况下，被技术同事加了一个301跳转，到http://.a./search/?product=a&item=100

3，其中/search/目录在robots.txt中是Disallow的

4，在随后的2周内，收录量最低降到了300万左右。

我希望能有个系统自动的帮我梳理这些问题，让我不再每天担忧SEO的需求又不知道被谁弄掉了，如果有问题，能让开发测试的同事马上就收到警报，让“擦屁股”的事情不再占用我太多时间。

　　内容思维导图，元信息，页面单元测试，蜘蛛日志监控

鉴于前边几点，我的解决方案是

• 内容思维导图

• 元信息

• 页面单元测试

• 蜘蛛日志监控

这些方案5年前就构思好了，并且小规模试用，由于复杂度和开发成本较高，到过很多坑。直到最近两年才逐步启用。绝对不适用于小公司，请广大SEO从业者慎重决策。

　　• 内容思维导图

从产品的角度看是这样由各类功能组成的，有合理流程关系的(流程不展开讨论)，符合用户体验的，但可能不符合搜索引擎体验

从SEO的角度看，网站的结构是这样由各类用户搜索需求组成的，也是有合理层级关系的　

不同的网站会有截然不同的思维导图，因为他可能基本取决于技术架构。建议SEO从业者深入了解网站的技术架构之后再来绘制导图。具体的细节暂不展开。最起码自己要保证这几点

1，网站有哪些内容节点

2，哪些命中了用户的需求

3，哪些是毫无检索意义的

4，缺少哪些节点

5，应该如何部署层级关系

思维导图绝对不是一劳永逸的，每当产品有新的pattern上线，或者旧的pattern下线，需要及时更新。每当你发现新的用户搜索习惯，也应该更新，并且推送给产品同事知道。

• 元信息

我这里说的不是， 而是一切SEO相关的，有规律的(最好是可以用正则表达的)，可量化的信息。包括标题，关键词，描述，H1，等等。

从SEO的角度看，某网站的URL是这样的，符合“思维导图”层次的

首页 .example./

首页-频道1 .example./channel/

首页-频道1-维度1 .example./channel/abc/

首页-频道1-维度1-维度2 .example./channel/abc/xyz/

首页-频道1-详细页 .example./channel/item12345/

从产品，开发，测试的角度看URL可能是这样无序的

• .example./channel/?category=abc&brand=xyz&tracking=other_website

• .example./channel/?item=12345

如果下一版改成这样也没问题的

.example./?channel=123&category=abc&brand=def&tracking=other_website

如果没有清晰的规则定义，几乎是无法知道现在的网站还是不是你优化过的那个样子的。 根据SEO内容思维导图，我们得到如下的元信息表格(仅列出几个字段给大家参考)　

　　• 页面单元测试

这个“单元测试”是借用了一个研发的术语，原本是测试某一个函数或类的。我是用来测试SEO的一个具体的细节定义。工具也是借用了“Rspec”来二次开发的。这个模块可以分为两个环境来运行，production和testing。

其中production的测试，我们叫“回归测试”，目的是保证之前已经上线的SEO需求，依然好好的呆在那里，如果报警需要及时修复。

testing环境中，是为了给研发人员做类似TDD(测试驱动开发)用的。它包含了production的回归测试也包含了testing中新的需求，可以被当做是需求文档。只要研发人员把这个测试都跑通，就说明你的需求完成了。当这些需求上线后，把测试合并到production一起做回归测试，这样就圆满了。

测试的内容可以涵盖元信息中的所有细节，已知链接的锚文本， 站内URL， 站外URL， 面包屑， alt， 响应时间， 页面尺寸，等等。

　　• 蜘蛛日志监控

有了“元信息”的定义。做蜘蛛日志监控易如反掌。亲身经历的一些现象

1，全站85%的访问，response code都是301。

2，蜘蛛抓取量的50%都是抓异步请求(ajax，iframe)的URL。

3，某些类别的页面平均响应时间超过10秒/次。

4，response code 200的访问中60%的请求都不是SEO需要的URL。

附图仅展示一些字段给大家做参考