内容索引不再依赖爬行?

时间:2021-12-16 浏览:40

       在整个过程中,我认为有三大难点:内容,内部链接结构,外链构建。在这些结构中,网站内部链接结构就是要解决搜索引擎有 效爬升、抓取的难题,既要全 面、快速地抓取,又要避免不必要的内容被抓,还要合理地分配权力。站得越多,问题就越难完 美解决。作过大站一定深有体会,不管怎么调整网站结构,都不能做到网页百分之一百被索引。

       Bing这篇文章告诉,以后很可能就不用担心抓取的问题了,有了新的网页,或是旧网页有了更新,只需直接提交网址即可(通过网站工具或API),无需依赖Bing蜘蛛爬行抓取,事实上,Bing蜘蛛可以很大地减少爬行而不影响索引的新内容。

       SearchEngineLand在Bing搜索工程师访谈中确认,减少爬升,的确是Bing的目标。在接下来的几年里,Bing将不再依赖爬虫去发现新的内容。Bing认为,对网站抓取的方法低效、浪费资源,不如站长直接提交内容。Bing说,提交URL是页面抓取的“非常有力”信号,要想对内容进行快速索引,就赶快使用提交工具。的确,大的站点,页面被抓取了一遍,可能要花费数周,或者更长时间,这时网站上出现了新网页,或者旧网页内容有了更新,要被抓取,或者要推迟数周。发送URL是一种快速的方式。

       事实上百度早在做类似的事情,在百度资源平台提交内容是快速抓取新网页的好办法,小时级收录的确可在数小时内收录,有时也可在几分钟内收录。但是百度资源平台提交看起来并不支持旧页面但是有新页面。

在行业的潜在影响。

       若Google随后继续采用这种方式,这将对产业造成不小的冲击。搜索引擎发现,抓取、编入新内容的方式变得更简单、更直接,调整网站结构的必要性和难度将大大降低。

       但是还有一些潜在的问题。比方说,黑帽子的显然不会错过这个机会。在此之前,通过爬行获取垃圾内容变得越来越困难,因为从一个页面爬到另一个页面就是识别、过滤的过程。大规模的主动提交垃圾网页之后,搜索引擎应该如何处理?

       再者,搜索引擎减少爬行,倒也省钱了,但是旧的、没有更新的页面被抓取的次数就会大大减少,这会不会造成链接关系计算的错误、不及时?顺带一提,不知为何总有人说链接对于排名已不再重要,其实仍然很重要。的基本方式在过去十多年里没有什么大的改变,但是仍然是一个不断变化的行业。