【新建页面URL层级<=4】一般新建未来具有搜索流量捕获能力的，均由SEO来设计url路径规则。
【禁用iframe框架、异步、flash、javascript等源码中无法显示具体内容的加载方式】商业爬虫虽有模拟浏览器加载的能力，但限于成本短期不会大规模铺开，所以iframe、异步加载的内容对爬虫属于暗网。
【网页埋点添加跟踪参数，使用onmousedown方式而非tracelog】全站埋点均通过先鼠标点击触发，url在拼接统计参数的形式。而非直接在href中把统计参数加在url上
【URL不包含参数或会话ID】这些技术可能会导致spider对网站检索不完整，因为spider或许无法排除url不同，但实际都是同一套页面的地址。
【请求头添加If-Modified-Since】爬虫spider一定概率根据该标签获知网页是否更新，判定是否进入抓取列表。一定程度上减少重复页面的抓取次数，提高抓取新页面/更新页面的效率
【禁用隐藏文本及链接】
【禁用隐藏内容或欺骗性的重定向】常见如登陆打断（各种论坛、及之前看准网也存在），若因产品需求必须面向用户隐藏，则需对符合爬虫spider的UA或者IP开放完整内容。
【页面正式开发前需要SEO介入】产品部门进行产品评审阶段，需要SEO介入，以确保页面是否符合SEO友好规范。以避免页面上线后，SEO在发现问题，出需求调整，增加本可避免的时间成本。
【全站添加移动适配标签（若有对应的M页）】
PC页面，如：
<meta name="mobile-agent" content="format=html5;url=https://m.1688.com/offer_search/-BBFAD6C6C4CDBBF0C7F2.html">
<meta name="mobile-agent" content="format=xhtml;url=https://m.1688.com/offer_search/-BBFAD6C6C4CDBBF0C7F2.html">
<link rel="alternate" media="only screen and (max-width: 640px)" href="https://m.1688.com/offer_search/-BBFAD6C6C4CDBBF0C7F2.html" />
PS：三个都加
M页面，如：
<link rel="canonical" href="http://m.1688.com/offer_search/-BBFAD6C6C4CDBBF0C7F2.html"/>
【全站添加禁止转码标签（M和PC页面均添加）】
<meta http-equiv=”Cache-Control” content=”no-transform” />
<meta http-equiv=”Cache-Control” content=”no-siteapp” />
【添加结构化数据标签】
详情文档见360文档：[http://www.so.com/help/help_3_9.html]
360搜索结果中的略缩图，全部引用结构化数据标签中的property="og:image"
【统计代码】所有页面均需要添加GA统计代码
