文本分类中基于综合度量的特征选择方法

吉林大学学报(理学版)

文本分类中基于综合度量的特征选择方法

杨杰明^1,2, 刘元宁², 曲朝阳¹, 刘志颖^1

1. 东北电力大学信息工程学院, 吉林吉林 132012； 2. 吉林大学计算机科学与技术学院, 长春 130012

收稿日期:2012-09-07 出版日期:2013-09-26 发布日期:2013-09-17
通讯作者: 杨杰明 E-mail:yjmlzy@gmail.com

Feature Selection Algorithm Based on ComprehensiveMeasurement for Text Categorization

YANG Jieming^1,2, LIU Yuanning², QU Zhaoyang¹, LIU Zhiying¹

1. School of Information Engineering, Northeast Dianli University, Jilin 132012, Jilin Province, China;2. College of Computer Science and Technology, Jilin University, Changchun 130012, China

Received:2012-09-07 Online:2013-09-26 Published:2013-09-17
Contact: YANG Jieming E-mail:yjmlzy@gmail.com

摘要/Abstract

摘要：

针对传统特征选择算法的不足, 提出一种新的特征选择算法. 该算法能综合度量一个特征在类内和类间的重要性, 并在3个不同的数据集上利用2个分类器与5个现有的特征选择方法进行了对比实验. 实验结果表明, 该算法进一步降低了特征向量空间的维度, 并有效提高了分类器的分类性能.

关键词: 特征选择, 文本分类, 降维

Abstract:

In view of the disadvantages of traditional feature selection algorithm, we proposed a new feature selection algorithm, which simultaneously measures the importance of one feature both in intracategory and intercategory. The proposed algorithm was compared with five feature selection algorithms via two classification algorithms on three benchmark document collections. The experimental results show the proposed method can reduce the dimensionality
of the text representation and significantly improve the performance of the text categorization.

Key words: feature selection, text categorization, dimensionality reduction

中图分类号:

TP301.6

杨杰明, 刘元宁, 曲朝阳, 刘志颖. 文本分类中基于综合度量的特征选择方法[J]. 吉林大学学报(理学版), 2013, 51(05): 887-893.

YANG Jieming, LIU Yuanning, QU Zhaoyang, LIU Zhiying. Feature Selection Algorithm Based on ComprehensiveMeasurement for Text Categorization[J]. Journal of Jilin University Science Edition, 2013, 51(05): 887-893.

[1]	李芳, 曲豫宾, 陈翔, 李龙, 杨帆. 一种基于类不平衡学习的情感分析方法[J]. 吉林大学学报(理学版), 2021, 59(4): 929-935.
[2]	王丽, 王涛, 肖巍, 刘兆赓, 李占山. XGBoost启发的双向特征选择算法[J]. 吉林大学学报(理学版), 2021, 59(3): 627-634.
[3]	杨舒涵, 李博, 周丰丰. 基于机器学习的跨患者癫痫自动检测算法[J]. 吉林大学学报(理学版), 2021, 59(1): 101-106.
[4]	王颖. 基于随机Fourier有监督特征变换降维算法的人脸检测方法[J]. 吉林大学学报(理学版), 2019, 57(3): 640-646.
[5]	刘久彪. 空间数据库反向最近邻聚类方法[J]. 吉林大学学报(理学版), 2019, 57(2): 387-392.
[6]	姚艳秋, 郑雅雯, 吕妍欣. 基于LS-SO算法的情感文本分类方法[J]. 吉林大学学报(理学版), 2019, 57(2): 375-379.
[7]	方秋莲, 王培锦, 隋阳, 郑涵颖, 吕春玥, 王艳彤. 朴素Bayes分类器文本特征向量的参数优化[J]. 吉林大学学报(理学版), 2019, 57(06): 1479-1485.
[8]	王颖, 曹捷, 邱志洋. 基于乌鸦搜索算法的新型特征选择算法[J]. 吉林大学学报(理学版), 2019, 57(04): 869-874.
[9]	王银花, 王丽萍, 王忠良. 基于判别分析与低秩投影的人脸识别算法[J]. 吉林大学学报(理学版), 2018, 56(2): 355-360.
[10]	郭凯文, 潘宏亮, 侯阿临. 基于特征选择和聚类的分类算法[J]. 吉林大学学报(理学版), 2018, 56(2): 395-398.
[11]	陈绍东, 杜书德, 仝云旭. 奇异中立系统降维H_∞滤波器的设计[J]. 吉林大学学报(理学版), 2017, 55(05): 1151-1157.
[12]	彭亮清, 陈君, 伍雁鹏. 基于最佳鉴别特征和相关向量机的人脸识别算法[J]. 吉林大学学报(理学版), 2017, 55(05): 1227-1233.
[13]	李猛, 刘元宁. 一种基于信息增益的新垃圾邮件特征选择算法[J]. 吉林大学学报(理学版), 2017, 55(02): 379-382.
[14]	高雷阜, 李超. 基于特征加权与核主成分分析的掌纹识别[J]. 吉林大学学报(理学版), 2016, 54(06): 1361-1366.
[15]	齐迎春, 孙挺. 基于FPCA和ReliefF算法的图像特征降维[J]. 吉林大学学报(理学版), 2015, 53(05): 975-980.