大规模比较移动设备和桌面设备

[rakibhasan]

为了进行这项简短的研究，我决定从 Quantcast Top Million 中随机抓取 20,000 个网站。然后，我将进行两层深度爬取，同时模仿 Google 移动版和 Google 桌面版的 Googlebot。有了这些数据，我们就可以开始比较网络的链接结构可能有多大的不同。

主页指标
首先，让我们对这 20,000 个随 美国华侨华人数据 机选择的网站的主页进行一些描述性统计。在所分析的网站中，87.42% 的网站在主页上拥有相同数量的链接，无论机器人是面向移动端还是面向桌面端。在剩下的 12.58% 中，9% 的网站拥有较少的链接，3.58% 的网站拥有较多的链接。乍一看，这似乎并没有什么太大的不同。



也许更重要的是，当桌面和移动机器人访问时，只有 79.87% 的主页上有相同的链接。仅仅因为找到的链接数量相同并不意味着它们实际上是相同的链接。这一点很重要，因为链接是机器人用来在网络上查找内容的路径。不同的路径意味着不同的索引。

在主页链接中，我们发现外部链接下降了 7.4%。这可能意味着网络上一些最重要的链接发生了根本性转变，因为主页链接通常具有很大的链接权益。有趣的是，按百分比计算，最大的“输家”往往是社交网站。回想起来，网站可能从其移动版本中删除的常见链接类型之一是社交分享按钮，这似乎是合理的，因为它们通常被纳入页面的“chrome”而不是内容中，而“chrome”通常会发生变化以适应移动版本。

按百分比计算，输家最多的网站依次为：