百度开始收录今日头条内容吗?

阳光

早上我查询一个关键词,竟然看到有头条的内容被收录。

toutiaosl.png

然后,我分析,应该是百度蜘蛛开始抓取了头条信息。打开了头条的robots.txt。看到有些栏目是禁止蜘蛛抓取的。

不过,大部分内容是允许抓取的。

site一下头条的网址,可以看到已经收录8500万个网页。这其中应该有不少内容页。

toutiaowangy.png

头条原来是不允许百度抓取的,一个应用系统有上亿用户,那么它就可以自建内容、自建生态,不需要搜索引擎也能活得很滋润。比如头条、微信公众号这样的内容池。

被别人抓取了。那么它就觉得失去竞争力了。

这样自己花大价钱搞起来的资源,成为了别人数据库填充内容。你有的,别人也有,别人有的,你没有,这才是要命的。

不过,我还是希望互联网公司能够互联互通,这对于我们老百姓获取信息非常的重要。

既然百度已经开始抓取头条信息,那么一些人去头条采集内容,今后这条路可能会断了。

文章版权声明:阳光随笔原创文章,转载或复制请以超链接形式并注明出处。

发表评论

快捷回复: 表情:
AddoilApplauseBadlaughBombCoffeeFabulousFacepalmFecesFrownHeyhaInsidiousKeepFightingNoProbPigHeadShockedSinistersmileSlapSocialSweatTolaughWatermelonWittyWowYeahYellowdog
验证码
评论列表 (暂无评论,696人围观)

还没有评论,来说两句吧...