基于树型结构和加权熵的中文高频词提取算法

吉林大学学报(工学版) ›› 2011, Vol. 41 ›› Issue (01): 188-0192.

基于树型结构和加权熵的中文高频词提取算法

王龙^1,2,刘衍珩¹,李晓光²,官健¹

1.吉林大学计算机科学与技术学院|长春 130012；2.辽宁大学信息学院|沈阳 110036

收稿日期:2009-06-30 出版日期:2011-01-01 发布日期:2011-01-01
通讯作者: 刘衍珩（1958-）,男,教授,博士生导师.研究方向:计算机网络.E-mail:lyh_lb_lk@yahoo.com.cn E-mail:lyh_lb_lk@yahoo.com.cn
作者简介:王龙（1978-）,男,讲师,博士研究生.研究方向:数据挖掘,机器学习.E-mail:wanglong@nenu.edu.cn
基金资助:
国家自然科学基金项目（60973136, 60703068）;中国高等学校博士学科点专项科研基金项目（20060183043）

Chinese highfrequency word extraction algorithm based on tree structure and weighted entropy

WANG |Long^1,2|LIU Yan-heng¹|LI Xiao-guang²|GUAN Jian¹

1.College of Computer Science and Technology, Jilin University,Changchun 130012,China；2.College of Information, Liaoning University, Shenyang 110036, China

Received:2009-06-30 Online:2011-01-01 Published:2011-01-01

摘要/Abstract

摘要：

提出了一种基于树型结构和加权熵的中文高频词提取算法。简单介绍了中文的树型结构和加权信息熵，详细叙述了算法的原理和设计步骤，并给出了具体的算法描述。实验结果表明，该算法是可行和有效的。

关键词: 计算机应用, 中文高频词, 提取算法, 加权熵, 前缀树, 后缀树

Abstract:

A Chinese highfrequency word extraction algorithm was proposed based on the tree structure and the weighted entropy. The tree structure and the weighted information entropy were introduced briefly. The principle of the algorithm and its design steps were described in detail. The experimental results show that the proposed algorithm is feasible and effective.

Key words: computer application, Chinese highfrequency word, extraction algorithm, weighted entropy, prefix tree, suffix tree

中图分类号:

TP391

王龙,刘衍珩,李晓光,官健. 基于树型结构和加权熵的中文高频词提取算法[J]. 吉林大学学报(工学版), 2011, 41(01): 188-0192.

WANG Long,LIU Yan-heng,LI Xiao-guang,GUAN Jian. Chinese highfrequency word extraction algorithm based on tree structure and weighted entropy[J]. 吉林大学学报(工学版), 2011, 41(01): 188-0192.

参考文献

相关文章 15

[1]	刘富,宗宇轩,康冰,张益萌,林彩霞,赵宏伟. 基于优化纹理特征的手背静脉识别系统[J]. 吉林大学学报(工学版), 2018, 48(6): 1844-1850.
[2]	王利民,刘洋,孙铭会,李美慧. 基于Markov blanket的无约束型K阶贝叶斯集成分类模型[J]. 吉林大学学报(工学版), 2018, 48(6): 1851-1858.
[3]	金顺福,王宝帅,郝闪闪,贾晓光,霍占强. 基于备用虚拟机同步休眠的云数据中心节能策略及性能[J]. 吉林大学学报(工学版), 2018, 48(6): 1859-1866.
[4]	赵东,孙明玉,朱金龙,于繁华,刘光洁,陈慧灵. 结合粒子群和单纯形的改进飞蛾优化算法[J]. 吉林大学学报(工学版), 2018, 48(6): 1867-1872.
[5]	刘恩泽,吴文福. 基于机器视觉的农作物表面多特征决策融合病变判断算法[J]. 吉林大学学报(工学版), 2018, 48(6): 1873-1878.
[6]	欧阳丹彤, 范琪. 子句级别语境感知的开放信息抽取方法[J]. 吉林大学学报(工学版), 2018, 48(5): 1563-1570.
[7]	刘富, 兰旭腾, 侯涛, 康冰, 刘云, 林彩霞. 基于优化k-mer频率的宏基因组聚类方法[J]. 吉林大学学报(工学版), 2018, 48(5): 1593-1599.
[8]	桂春, 黄旺星. 基于改进的标签传播算法的网络聚类方法[J]. 吉林大学学报(工学版), 2018, 48(5): 1600-1605.
[9]	刘元宁, 刘帅, 朱晓冬, 陈一浩, 郑少阁, 沈椿壮. 基于高斯拉普拉斯算子与自适应优化伽柏滤波的虹膜识别[J]. 吉林大学学报(工学版), 2018, 48(5): 1606-1613.
[10]	车翔玖, 王利, 郭晓新. 基于多尺度特征融合的边界检测算法[J]. 吉林大学学报(工学版), 2018, 48(5): 1621-1628.
[11]	赵宏伟, 刘宇琦, 董立岩, 王玉, 刘陪. 智能交通混合动态路径优化算法[J]. 吉林大学学报(工学版), 2018, 48(4): 1214-1223.
[12]	黄辉, 冯西安, 魏燕, 许驰, 陈慧灵. 基于增强核极限学习机的专业选择智能系统[J]. 吉林大学学报(工学版), 2018, 48(4): 1224-1230.
[13]	傅文博, 张杰, 陈永乐. 物联网环境下抵抗路由欺骗攻击的网络拓扑发现算法[J]. 吉林大学学报(工学版), 2018, 48(4): 1231-1236.
[14]	曹洁, 苏哲, 李晓旭. 基于Corr-LDA模型的图像标注方法[J]. 吉林大学学报(工学版), 2018, 48(4): 1237-1243.
[15]	侯永宏, 王利伟, 邢家明. 基于HTTP的动态自适应流媒体传输算法[J]. 吉林大学学报(工学版), 2018, 48(4): 1244-1253.

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed