B2B网络软件
标题: 百度原来是这样检测内容重复的您还不快来看看 [打印本页]
作者: 好软件 时间: 2016-6-5 06:00
标题: 百度原来是这样检测内容重复的您还不快来看看
在这个科技高度发达的时代，百度已经成为人们能获取消息的主要途径。但如今的百度，到处充斥着一些重复的内容，对用户的访问造成很大的困扰。因此，百度需要对网页重复进行判断，对重复的网页，只选取一些高质量的我那工业，共用户浏览。然而，现有技术中一般是通过比较两个页面的内容和借点，来确认两个页面的相似度。
这种方法能够计算的比较准确，可时间复杂度太高，计算很费时间。通过对一个页面中的某些重要信息进行签名，然后比较两个页面的签名，来计算相似度，这种方式比较简单高效，计算速度比较快，比较适合百度这种海量信息的应用场景。
1，网站重复内容的判断
A，获取多个网页;
B，分别提取网页的网页正文;
C，从网页正文中提取一个或多个句子，并根据一个或多个句子计算网页正文句子签名;
D，根据网页正文句子签名对多个网页进行聚类;
E，针对每一类下的网页，计算网页的附加签名;
F，根据附加签名判断每一类下的网页是否重复。
通过上述方式，网页重复的判断系统及其判断方法通过包括网页正文句子签名在内的多维度签名有效且快速地判断网页是否重复。
网页基本架构图
提取正文
A，对网页进行分块;
B，对分块后的网页进行块过滤，以获取包含网页正文的内容快;
C，从内容块中提取网页正文。
正文分句
A，对网页正文进行分句;
在本步骤中，可利用分号，句号，感叹号等表示句子完结的标志符号来对网页正文进行分句。此外，还可以通过网页正文的视觉信息来对网页正文进行分句。
B，对分句后的网页正文进行过滤及转换;
在步骤中，首先过滤掉句子中的数字信息;版权信息以及其他对网页重复判断不起决定性作用的信息。随后，对句子进行转换，例如，进行全角/半角转换或者繁体/简体转换，以使得转换后的句子的格式统一。
C，从过滤及转换后的网页正文中提取最长的一个或多个句子;
在本步骤中，过滤及转换后的网页正文提取出最长的一个句子或者做场的预定数量连续句子的组合。例如，某个网页实例中，经过过滤及转换后的某段最长，远超其他句子，因此可选择该段为网页正文句子，或者选择最长的连续句子组合作为网页正文句子。
D，对一个或多个句子进行hash签名运算，以获取网页正文句子签名。
simhash算法就是比较各网页的附加签名是否相同或相似来判断网页是否重复。具体来说，在比较利用simhash签名运算获得的网页正文签名时，比较网页正文签名的不同位数，不同位越少，表示网页重复的可能性越高，河南头条消息：，在比较其他的附加签名时，若附加签名相等，表示网页在该纬度上重复。
在这个科技高度发达的时代，百度已经成为人们能获取消息的主要途径。但如今的百度，到处充斥着一些重复的内容，对用户的访问造成很大的困扰。因此，百度需要对网页重复进行判断，对重复的网页，只选取一些高质量的我那工业，共用户浏览。然而，现有技术中一般是通过比较两个页面的内容和借点，来确认两个页面的相似度。
这种方法能够计算的比较准确，可时间复杂度太高，计算很费时间。通过对一个页面中的某些重要信息进行签名，然后比较两个页面的签名，来计算相似度，这种方式比较简单高效，计算速度比较快，比较适合百度这种海量信息的应用场景。
1，网站重复内容的判断
A，获取多个网页;
B，分别提取网页的网页正文;
C，从网页正文中提取一个或多个句子，并根据一个或多个句子计算网页正文句子签名;
D，根据网页正文句子签名对多个网页进行聚类;
E，针对每一类下的网页，计算网页的附加签名;
F，根据附加签名判断每一类下的网页是否重复。
通过上述方式，网页重复的判断系统及其判断方法通过包括网页正文句子签名在内的多维度签名有效且快速地判断网页是否重复。
网页基本架构图
提取正文
A，对网页进行分块;
B，对分块后的网页进行块过滤，以获取包含网页正文的内容快;
C，从内容块中提取网页正文。
正文分句
A，对网页正文进行分句;
在本步骤中，可利用分号，句号，感叹号等表示句子完结的标志符号来对网页正文进行分句。此外，还可以通过网页正文的视觉信息来对网页正文进行分句。
B，对分句后的网页正文进行过滤及转换;
在步骤中，首先过滤掉句子中的数字信息;版权信息以及其他对网页重复判断不起决定性作用的信息。随后，对句子进行转换，例如，进行全角/半角转换或者繁体/简体转换，以使得转换后的句子的格式统一。
C，从过滤及转换后的网页正文中提取最长的一个或多个句子;
在本步骤中，过滤及转换后的网页正文提取出最长的一个句子或者做场的预定数量连续句子的组合。例如，某个网页实例中，经过过滤及转换后的某段最长，远超其他句子，因此可选择该段为网页正文句子，或者选择最长的连续句子组合作为网页正文句子。
D，对一个或多个句子进行hash签名运算，以获取网页正文句子签名。
simhash算法就是比较各网页的附加签名是否相同或相似来判断网页是否重复。具体来说，在比较利用simhash签名运算获得的网页正文签名时，比较网页正文签名的不同位数，不同位越少，表示网页重复的可能性越高，在比较其他的附加签名时，若附加签名相等，表示网页在该纬度上重复。
总结：
1、两个网页的真实标题签名相同。
2、两个我那工业的网页内容签名相同。
3、两个网页的网页正文签名的不同位数小于6.。
4、两个网页的网页位置签名相同，并且url文件名签名相同。
5、评论块签名、资源签名、标签标题签名、摘要签名、url文件名签名中有三个签名相同。
附加信息整站判断重复标准：
通过两两页面比较，可以得到真重复url的集合。一般来说，如果这个真重复url集合中的网页的数量/整个网页集中网页的数量大于30%，则认为整个网页集都是真重复，否则就是假重复。
总结：
1、两个网页的真实标题签名相同。
2、两个我那工业的网页内容签名相同。
3、两个网页的网页正文签名的不同位数小于6.。
4、两个网页的网页位置签名相同，并且url文件名签名相同。
5、评论块签名、资源签名、标签标题签名、摘要签名、url文件名签名中有三个签名相同。
附加信息整站判断重复标准：
通过两两页面比较，可以得到真重复url的集合。一般来说，如果这个真重复url集合中的网页的数量/整个网页集中网页的数量大于30%，则认为整个网页集都是真重复，否则就是假重复。
作者: 头疼的哥 时间: 2016-6-5 07:31
解释：第一次快递上门的时候，亲回了老家，电话无法接通，快递没有办法联系到你本人，又把件退了回来，当客服再次能够联系到你的时候，我们又进行了2次邮寄。给亲造成的不便，请原谅，谢谢 亲对金蝶的支持和理解！
作者: 360安全卫士4 时间: 2016-6-5 21:43
开始安装不能用，又重装了系统，可以用了。
作者: 七七七七七七瑾 时间: 2016-6-6 14:59
税务要查账，再做账，结果一月份结完后，要再打开账套，说什么文件路劲有错打不开，都 快急死了，结果问客报说售后星期1-5才上班，唉，都 不知道要怎么办了？
作者: 泪濛濛的毕业 时间: 2016-6-6 16:03
电脑没光驱，发个网址给我又是带病毒的，电脑都开不了了！不敢用。回去用我笔记本电脑试试才可以哦
作者: ebr凝爱 时间: 2016-6-7 21:25
不错，正版
作者: cheocheocheo 时间: 2016-6-8 17:49
未折转。把生产成本只好重做成营业成本。反正一个差！！差！！差！！上了一个大大的当！
作者: 幻觉°C 时间: 2016-6-9 01:21
不好意思，支付晚了。
作者: 磁通量5 时间: 2016-6-10 16:00
基本功能有，操作有点麻烦，而且感觉工具栏快捷键不太好使，稍微多一点操作功能就好了
作者: 好网站吧 时间: 2016-6-11 18:31
客服很有耐心。用后再来追加
作者: 营销软件 时间: 2016-6-12 06:11
产品是正品，我打金蝶销售电话的，到货也快，也很快就安装好了，以前用过金蝶，所以还好，没太陌生
作者: 等流年回转 时间: 2016-6-13 05:10
抱着试试的心态买的，毕竟这价格太便宜了！谁知道便宜还真有好货，这款软件运行速度快，操作简单易学，客服还耐心远程指导，喜欢，介绍给朋友了！它比我5年前买的记账王好用多了，那款软件要发热，每次做账都要用风扇吹，害的我感冒了好几次
作者: 阏1601 时间: 2016-6-16 20:34
简直就是波折，我的电话留错了，跟卖家求助，直接不理，，最后还是自己打电话在登门去取件，东西怎么样还不知道！
作者: 浅笑4597 时间: 2016-6-17 10:24
客服很到位，非常耐心的讲解，刚收到货，还在研究中，先给个好评…
作者: 孤木行舟 时间: 2016-6-17 10:28
买了软件很久没有,今天用的时候不是很熟悉,售后的细心指导让我很快就会操作了,超级实用的一款财务软件。以后就选你家的了。很好用哦，值得购买在。
作者: 丶神丶话丶 时间: 2016-6-18 16:40
很好，非常好！
作者: 沈寒乀 时间: 2016-6-18 18:55
发货速度快，安装上了，准备使用！
作者: 火柴人XX27 时间: 2016-6-22 15:33
导。
作者: 锥锥_ 时间: 2016-6-22 19:16
解释：亲，客服只有上班时间才能回复，请亲谅解。
作者: 佳能尼康索尼 时间: 2016-6-23 19:44
安装后智能卡升级失败，最近忙的还没顾上继续实验，建议随软件附一个安装流程说明，东西应该不错。试用已后再做评价。
作者: 360安全卫士4 时间: 2016-6-24 09:34
宝贝很好，已经买了四个，自己一个，还帮三个朋友没人买了一个！下次再来！
作者: 木边兔 时间: 2016-6-25 10:22
客服态度异常不满意
作者: IT首发 时间: 2016-6-29 00:07
很好，
作者: 这有根葱 时间: 2016-6-29 21:54
软件很好用，简单易操作，能满足代理记账的要求，喜欢。
作者: 过分丶賏霗 时间: 2016-6-30 09:24
软件很好用，适合小企业。掌柜服务态度也很好
作者: 帅哥死了吗 时间: 2016-7-1 02:05
成功安装，凭证录入界面有点小，在研究研究
作者: 双鱼ddddssss 时间: 2016-7-1 15:00
不好意思，评价晚了，我是使用了才来评价的，很好用，是正版的，我已经把1、2月份的补录进去了，3月份的还未做，操作介绍得很详细，对小微企业做账足够了。感谢四、五、六、七号掌柜，在安装和使用过程中遇到各种问题都给与了我帮助。
作者: 魔方狂人Moss 时间: 2016-7-2 04:03
不错，用着也不是很好，今天已经开始建帐了，操作很简单易学
作者: 我不知道66 时间: 2016-7-3 10:51
非常好用.已注册成功开始使用，推荐给大家?
作者: nnzxz7777 时间: 2016-7-5 12:23
在使用了，暂时没有什么问题，好评。
作者: 等流年回转 时间: 2016-7-5 15:00
他家售后技术服务很差，要上班时间才能咨询。真差劲
作者: Best_light 时间: 2016-7-6 11:09
账册、报表无法引出，等补丁
作者: 1172231201 时间: 2016-7-6 18:49
挺好用的
作者: 幻觉°C 时间: 2016-7-7 00:22
帮朋友买的，
作者: 过分丶賏霗 时间: 2016-7-7 01:03
还好用用
作者: 桑德斯闪电 时间: 2016-7-7 13:49
给同事买的，正在安装，再追评吧
作者: _赤杨爪 时间: 2016-7-8 20:04
此用户没有填写评论！
作者: 凝冷千火 时间: 2016-7-11 03:10
刚开始用 还有很多不习惯
作者: 七七七七七七瑾 时间: 2016-7-11 13:47
服务热情，速度很快，金蝶是值得信赖的
作者: 丶叙愛丶 时间: 2016-7-12 08:26
此用户没有填写评论！
作者: 星猫卡 时间: 2016-7-12 10:29
已经安装好，但是还没有用，等9月开始启用帐套，后期在来追加评论
作者: 阏1601 时间: 2016-7-13 00:56
给单位买来用的不错，服务态度也很好
作者: 双赤赤赤赤 时间: 2016-7-13 17:46
服务态度挺好的'四掌柜帮我远程安装的'谢谢
作者: xx书签 时间: 2016-7-14 17:03
软件很好用，售前售后服务周到，有耐心，满意。。。
作者: 188741515i 时间: 2016-7-15 06:13
功能够用，客服也很及时热情
作者: 星猫卡 时间: 2016-7-15 20:18
用过了 还不错 就是很多功能还不懂 最好以后有使用说明
作者: 188741515i 时间: 2016-7-17 09:51
真的很好用，简单易学，可以做多套账，真心喜欢，服务态度好！
作者: 泪濛濛的毕业 时间: 2016-7-17 16:22
还没用
作者: 火柴人XX27 时间: 2016-7-18 09:05
好用，更好合适
作者: 孤木行舟 时间: 2016-7-20 17:19
不好用
作者: 河南Rezc 时间: 2016-7-20 19:28
帮同事买？据说安装非常麻烦，习惯好评
作者: 花无缺0228 时间: 2016-7-21 06:27
宝贝很好用
作者: 等流年回转 时间: 2016-7-23 01:09
安装的时候出了点问题，不过一会就能解决了，卖家虽然不是很专业但也很有耐心，安装好了还没开始用，感觉应该还不错吧，到时再追加
作者: 泪濛濛的毕业 时间: 2016-7-23 15:13
操作性太差，还不如免费的卓账财务软件
作者: Memory丶01 时间: 2016-7-23 20:21
还没用，不知道好不好
作者: 这有根葱 时间: 2016-7-24 12:49
卖家服务很好，能及时回复使用中的技术问题，很实用的软件
作者: 双鱼ddddssss 时间: 2016-7-24 16:49
还没用，不知正版否。
作者: 阏1601 时间: 2016-7-26 18:07
还会再购买的。希望售后做的好一点
作者: 188741515i 时间: 2016-7-27 23:03
安装很简单，客服很有耐心。
作者: IT首发 时间: 2016-7-28 04:41
服务热情，速度很快，金蝶是值得信赖的
作者: 贤我爱你 时间: 2016-7-29 11:30
解释：记账王没有电话服务，有技术问题 请直接咨询售后客服或者家技术服务群
作者: 百科全书100之1 时间: 2016-7-29 14:31
满意
作者: 1041469105 时间: 2016-7-30 06:40
不错
作者: hhs 时间: 2016-7-30 12:42
作者: 花无缺0228 时间: 2016-7-31 00:21
解释：不同的会计准则 资产负债表的格式是不一样的，新会计准则和2013小企业会计准则是有预收账款和预付账款，客服已经给亲解释了。售后服务时间是正常工作日周一周五 上午8点45-下午17点30.谢谢亲对金蝶的支持和理解。
作者: 黑色城镇HY 时间: 2016-7-31 23:14
很方便，有不明白的地方售后很快给予解决了，相当喜欢，赞一个
作者: 过分丶賏霗 时间: 2016-8-1 13:48
此用户没有填写评论！
作者: 巇耨徴歘 时间: 2016-8-2 15:32
还可以，安装也很简单
作者: 氕氘氚同学 时间: 2016-8-2 16:55
很方便
作者: 氕氘氚同学 时间: 2016-8-2 17:25
还不错
作者: 火柴人XX27 时间: 2016-8-2 19:48
刚收到还没有装，装好再来评价
作者: 幻觉°C 时间: 2016-8-4 03:41
售后态度不错。赞一个。有啥问题 群里都有应必答
作者: 百科全书100之1 时间: 2016-8-4 15:20
软件不错，简单易学
作者: 营销软件 时间: 2016-8-6 09:04
记账王已安装好，四掌柜很详细介绍了有关使用方面知识。
作者: 丶神丶话丶 时间: 2016-8-7 00:24
尚未用,习惯好评
作者: 188741515i 时间: 2016-8-10 10:28
是正版的软件，用起来还是挺方便的，小企业完全够用。物流也很快。
| 欢迎光临 B2B网络软件 (http://bbs.niubt.cn/) |
Powered by Discuz! X3.2 |