网站地图 - 许正卫

轻松学习网络营销推广知识,就找大地网络营销学习教程网。许正卫专注网络营销8年,该网站为安徽国防电子商务专业实训所用。

您的当前位置:大地网络营销学习网 > seo培训教程 > 搜索引擎内容去重原理

搜索引擎内容去重原理

来源:未知 编辑:大地 时间:2018-04-26

在互联网时代,网站同质化内容很严重。搜索引擎为了照顾用户体验必定不想呈献大量相同的内容。所以搜索引擎去重是一项非常重要的事情,同时抓取这些重复的网页,在一定意义上就是对搜索引擎自身资源的浪费。

搜索引擎在做网页去重工作之前首先要分析网页,内容周围的噪声对去重结果多少会有影响,做这部分工作时只对内容部分操作就可以了,相对来说会简单很多,并且可以很有效地辅助产出高质量的seo产品。

在一般的搜索引擎架构中,网页去重一般在spider抓取部分就存在了,“去重”步骤在整个搜索引擎架构中实施的越早,越可以节约后续处理系统的资源使用。搜索引擎一般会对已经抓取过的重复页面进行归类处理,比如,判断某个站点是否包含大量的重复页面,或者该站点是否完全采集其他站点的内容等,以决定以后对该站点的抓取情况或是否直接屏蔽抓取。

去重的工作一般会在分词之后和索引之前进行,搜索引擎会在页面已经分出的关键词中,提取部分具有代表性的关键词,然后计算这些关键词的“指纹”。每一个网页都会有个这样的特征指纹,当新抓取的网页的关键词和已索引网页的关键词指纹有重合时,那么该网页就可能会被搜索引擎视为重复内容而放弃索引。

实际工作中的搜索引擎,不仅仅使用分词步骤所分出的有意义的关键词,还会使用连续切割的方式提取关键词,并进行指纹计算。连续切割就是以单个字向后移动的方式进行切词,比如,“百度开始打击买卖链接”会被切成“百度开”“度开始”“开始打”“始打击”“打击买”“击买卖”“买链接”“卖链接”。然后从这些词中提取部分关键词进行指纹计算,参与是否重复内容的对比,具体的可以参考搜索引擎原理之中文分词技术这篇文章,这只是搜索引擎识别重复网页的基本算法,还有很多其他对付重复网页的算法。

因此网络上流行的大部分伪原创工具,不是不能欺骗搜索引擎,就是把内容做的鬼都读不通,所以理论上使用普通伪原创工具不能得到搜索引擎的正常收录和排名。但是由于搜索百度并不是对所有的重复页面都直接抛弃不索引,而是会根据重复网页所在网站的权重适当放宽索引标准,这样使得部分作弊者有机可乘,利用网站的高权重,大量采集其他站点的内容获取搜索流量。不过经过百度搜索多次升级算法,对采集重复信息,垃圾页面进行了多次重量级打击。

所以SEO在面对网站内容时,不应该再以伪原创的角度去建设,而需要以对用户的角度去建设,虽然后者的内容不一定全是原创,一般如果网站权重没有大问题,都会得到健康的发展。

另外,不仅仅是搜索引擎需要“网页去重”,自己做网站也需要对站内页面进行去重。比如分类信息、B2B平台等UGC类的网站,如果不加以限制,用户所发布的信息必然会有大量的重复,这样不仅在SEO方面表现不好,站内用户体验也会降很多。

又如SEOer在设计流量产品大批量产生页面时,也需要做一个重复过滤,否则就会大大降低产品质量。seoer所设计的流量产品常见的一般以“聚合”为基础的索引页、专题页或目录页,“聚合”就必须有核心词,不加以过滤,海量核心词所扩展出来的页面就可能会有大量重复,从而导致该产品效果不佳,甚至会因此被搜索引擎降权。

 

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
栏目分类

Copyright © 2018 安徽国防电子商务 版权所有 Power by 许正卫

联系大地QQ:许正卫 网络营销推广学习群:网络营销推广学习群

京ICP备11016762号-4

Top