表格信息在主题爬行中的作用

表格信息在主题爬行中的作用

黄凤云, 王辉, 左万利

吉林大学计算机科学与技术学院, 长春 130012

收稿日期:2006-07-06 修回日期:1900-01-01 出版日期:2007-05-26 发布日期:2007-05-26
通讯作者: 王辉

Importance of Text about Table Elements Used in Focused Crawling

HUANG Fengyun, WANG Hui, ZUO Wanli

College of Computer Science and Technology, Jilin University, Changchun 130012, China

Received:2006-07-06 Revised:1900-01-01 Online:2007-05-26 Published:2007-05-26
Contact: WANG Hui

摘要/Abstract

摘要： 采用计算向量之间相似度的方法, 通过实验分析验证了表格信息在主题爬行中的重要性. 研究结果表明, 与整个网页相比, 表格所能提供的与用户相关的信息占整个网页信息总量的80％以上, 因而在主题爬行领域可以充分利用这一结论进行网页解析. 在舍弃除表格和标题之外的其他元素后, 提高了爬行程序的效率.

关键词: 主题爬行, 链接, TFIDF, 相似度

Abstract: In this paper, some experiments are conducted to analyze and verify the importance of table elements which lied in a Web page. In contr ast with Web pages, table elements can provide a large quantity of information ( beyond eighty percent) which is relevant to users’ information need. This conclusion can be utilizedto parse Web pages in the domain of focused crawling. After getting rid of elements except tables and headers, the efficiency of a focused crawler can be augmented distinctly and substantially.

Key words: focused crawling, URL, TFIDF, similarity

中图分类号:

TP31

黄凤云, 王辉, 左万利. 表格信息在主题爬行中的作用[J]. J4, 2007, 45(03): 432-434.

HUANG Fengyun, WANG Hui, ZUO Wanli. Importance of Text about Table Elements Used in Focused Crawling[J]. J4, 2007, 45(03): 432-434.

[1]	陈广秋, 王冰雪, 刘美, 刘广文. 基于结构信息相似度的线性投影灰度化算法[J]. 吉林大学学报(理学版), 2020, 58(4): 877-884.
[2]	魏晓辉, 许国威, 王兴旺, 徐海啸. 基于节点相似性和链接次数组合时间序列的链接预测[J]. 吉林大学学报(理学版), 2019, 57(3): 583-590.
[3]	冯成强, 左万利, 王英. 基于相似度投票的社区划分改进算法[J]. 吉林大学学报(理学版), 2018, 56(3): 601-609.
[4]	赵素蕊, 高双喜. 基于部分重编码的流数据发布隐私保护算法[J]. 吉林大学学报(理学版), 2018, 56(1): 109-113.
[5]	刘二涛, 刘红卫, 刘泽显. 基于单纯形梯度的多起点全局优化算法[J]. 吉林大学学报(理学版), 2016, 54(06): 1282-1288.
[6]	董立岩, 张高祥, 孙博, 郎一宁. 从自然语言向SPARQL语言映射的歧义消解算法[J]. 吉林大学学报(理学版), 2016, 54(03): 535-538.
[7]	黄海鸥, 韩虹莹. 基于可拓学的商品筛选及相似度计算方法[J]. 吉林大学学报(理学版), 2015, 53(06): 1282-1286.
[8]	张桂杰, 张健沛, 杨静, 王帅. 基于拓扑势的局部化重叠社区识别[J]. 吉林大学学报(理学版), 2015, 53(04): 730-738.
[9]	成锦晖, 郑山红, 李万龙, 岳绍敏. 本体领域综合概念相似度计算中的权重确定方法[J]. 吉林大学学报(理学版), 2014, 52(06): 1272-1276.
[10]	陈永恒, 左祥麟. 基于多核环境的并行性双向枚举连接[J]. 吉林大学学报(理学版), 2014, 52(01): 59-64.
[11]	廖浩伟, 杨燕, 贾真, 尹红风. 一种改进的基于树路径匹配的网页结构相似度算法[J]. J4, 2012, 50(06): 1199-1203.
[12]	张凯勇, 周春光, 王康平, 郭东伟, 翟延冬. 基于扩展关系的信息量计算方法[J]. J4, 2011, 49(06): 1068-1072.
[13]	徐颖,, 赵旗, 刘磊, 罗兰. 远程多台计算机同步定时系统的设计与实现[J]. J4, 2009, 47(03): 553-557.
[14]	白天, 周春光, 刘桂霞, 王晗, 王喆, 张宏婷. 一种共调控基因聚类的新方法[J]. J4, 2009, 47(02): 292-298.
[15]	李晓亚, 赫枫龄, 左万利. 基于网页分块技术主题爬行器的实现[J]. J4, 2007, 45(06): 959-965.