百度发布《移动搜索建站优化白皮书》:网站优化篇

  创业项目优选 好项目来A5招商 ,点击入驻!

 在上一篇内容中,主要阐述了移动站点建设的大致流程,包括:域名选择、服务器选择、网站安全等方面。本文主要是《百度移动搜索建站优化白皮书》中“网站优化”方面的相关内容。

6364763395583600015005276

  以下为内容详情:

  3 网站优化

  3.1 抓取友好性

  关于抓取的优先级,在此重点强调:

  √ 网站更新频率:经常更新高价值的站点,优先抓取

  √ 受欢迎程度:用户体验好的站点,优先抓取

  √ 优质入口:优质站点内链接,优先抓取

  √ 历史的抓取效果越好,越优先抓取

  √ 服务器稳定,优先抓取

  √ 安全记录优质的网站,优先抓取

  顺畅稳定的抓取是网站获得搜索用户、搜索流量的重要前提,影响抓取的关键因素,站长可以通过本章节了解。

  3.1.1 URL规范

  网站的URL如何设置,可参考2.3. 1 中的URL设置规范

  3.1.1.1 参数

  URL中的参数放置,需遵循两个要点:

  √ 参数不能太复杂

  √ 不要用无效参数,无效参数会导致页面识别问题,页面内容最终无法在搜索展示

  另外,很多站长利用参数(对搜索引擎和页面内容而言参数无效)统计站点访问行为,这里强调下,尽量不要出现这种形式资源,例如:

  https://www.test.com/deal/w00tb7cyv.html?s=a67b0e875ae58a14e3fcc460422032d3

  或者:

  ;NTESnmtpSI=029FF574C4739E1D0A45C9C90D656226.hzayq-nmt07.server.163.org-8010#/app/others/details?editId=&articleId=578543&articleType=0&from=sight

  3.1.2 链接发现

  3.1.2.1 百度蜘蛛

  很多站长会咨询如何判断百度移动蜘蛛,这里推荐一种方法:只需两步,正确识别百度蜘蛛

  查看UA

  如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

  移动UA 1:

  Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+ search/ spider.html)

  移动UA 2:

  Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1

  (compatible; Baiduspider-render/2.0; +)

  PC UA 1:

  Mozilla/5.0 (compatible; Baiduspider/2.0;+)

  PC UA 2:

  Mozilla/5.0(compatible;Baiduspider-render/2.0;+ spider.html)

  反查IP

  站长可以通过DNS反查IP的方式判断某只蜘蛛是否来自百度搜索引擎。根据平台不同验证方法不同,如Linux/Windows/OS三种平台下的验证方法分别如下:

  在Linux平台下,可以使用hostip命令反解IP来判断是否来自百度蜘蛛的抓取。百度蜘蛛的hostname以*.baidu.com格式命名,非*.baidu.com即为冒充。

  

百度发布《移动搜索建站优化白皮书》:网站优化篇

  这里需要在提出一点,建议使用DNS更换为8.8.8. 8 后进行nslookup反向解析,否则很容易出现无返回或返回错误的问题。

  在Windows平台下,可以使用nslookup ip命令反解IP来判断是否来自百度蜘蛛的抓取。打开命令处理器输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP,来判断是否来自百度蜘蛛的抓取,百度蜘蛛的hostname以*.baidu.com格式命名,非*.baidu.com即为冒充。

  在Mac OS平台下,网站可以使用dig命令反解IP来判断是否来自百度蜘蛛的抓取。打开命令处理器输入dig xxx.xxx.xxx.xxx(IP地址)就能解析IP,来判断是否来自百度蜘蛛的抓取,百度蜘蛛的hostname以*.baidu.com的格式命名,非*.baidu.com即为冒充。

  3.1.2.2 链接提交

  链接提交工具是网站主动向百度搜索推送数据的工具,网站使用链接提交可缩短爬虫发现网站链接时间,目前链接提交工具支持四种方式提交:

  √ 主动推送:是最为快速的提交方式,建议将站点当天新产出链接立即通过此方式推送给百度,以保证新链接可以及时被百度抓取。

  √ Sitemap:网站可定期将网站链接放到Sitemap中,然后将Sitemap提交给百度。百度会周期性的抓取检查提交的Sitemap,对其中的链接进行处理,但抓取速度慢于主动推送。

  √ 手工提交:如果不想通过程序提交,那么可以采用此种方式,手动将链接提交给百度。

  √ 自动推送:是轻量级链接提交组件,将自动推送的JS代码放置在站点每一个页面源代码中,当页面被访问时,页面链接会自动推送给百度,有利于新页面更快被百度发现。