文本分类中基于综合度量的特征选择方法

吉林大学学报(理学版)

文本分类中基于综合度量的特征选择方法

杨杰明^1,2, 刘元宁², 曲朝阳¹, 刘志颖^1

1. 东北电力大学信息工程学院, 吉林吉林 132012； 2. 吉林大学计算机科学与技术学院, 长春 130012

收稿日期:2012-09-07 出版日期:2013-09-26 发布日期:2013-09-17
通讯作者: 杨杰明 E-mail:yjmlzy@gmail.com

Feature Selection Algorithm Based on ComprehensiveMeasurement for Text Categorization

YANG Jieming^1,2, LIU Yuanning², QU Zhaoyang¹, LIU Zhiying¹

1. School of Information Engineering, Northeast Dianli University, Jilin 132012, Jilin Province, China;2. College of Computer Science and Technology, Jilin University, Changchun 130012, China

Received:2012-09-07 Online:2013-09-26 Published:2013-09-17
Contact: YANG Jieming E-mail:yjmlzy@gmail.com

摘要/Abstract

摘要：

针对传统特征选择算法的不足, 提出一种新的特征选择算法. 该算法能综合度量一个特征在类内和类间的重要性, 并在3个不同的数据集上利用2个分类器与5个现有的特征选择方法进行了对比实验. 实验结果表明, 该算法进一步降低了特征向量空间的维度, 并有效提高了分类器的分类性能.

关键词: 特征选择, 文本分类, 降维

Abstract:

In view of the disadvantages of traditional feature selection algorithm, we proposed a new feature selection algorithm, which simultaneously measures the importance of one feature both in intracategory and intercategory. The proposed algorithm was compared with five feature selection algorithms via two classification algorithms on three benchmark document collections. The experimental results show the proposed method can reduce the dimensionality
of the text representation and significantly improve the performance of the text categorization.

Key words: feature selection, text categorization, dimensionality reduction

中图分类号:

TP301.6

杨杰明, 刘元宁, 曲朝阳, 刘志颖. 文本分类中基于综合度量的特征选择方法[J]. 吉林大学学报(理学版), 2013, 51(05): 887-893.

YANG Jieming, LIU Yuanning, QU Zhaoyang, LIU Zhiying. Feature Selection Algorithm Based on ComprehensiveMeasurement for Text Categorization[J]. Journal of Jilin University Science Edition, 2013, 51(05): 887-893.

[1]	李坤, 刘婧, 齐赫. 具有潜在表示和动态图约束的多标签特征选择[J]. 吉林大学学报(理学版), 2024, 62(5): 1188-1202.
[2]	吴量, 张方方, 程超, 宋诗楠. 基于双层数据增强的监督对比学习文本分类模型[J]. 吉林大学学报(理学版), 2024, 62(5): 1179-1187.
[3]	梁云辉, 甘舰文, 陈艳, 周芃, 杜亮. 基于图滤波与自表示的无监督特征选择算法[J]. 吉林大学学报(理学版), 2024, 62(3): 655-664.
[4]	高新成, 周中雨, 王莉利, 邵国铭, 张强. 基于二进制蜉蝣优化的特征选择及文本聚类算法[J]. 吉林大学学报(理学版), 2023, 61(3): 631-640.
[5]	李芳, 曲豫宾, 李龙, 李梦鳌. 一种基于特征偏移补偿的深度智能化教学评价方法[J]. 吉林大学学报(理学版), 2022, 60(3): 697-704.
[6]	齐妙, 闫光友, 徐慧, 孙慧. 基于多尺度特征选择网络的人脸表情识别[J]. 吉林大学学报(理学版), 2022, 60(2): 425-431.
[7]	李芳, 曲豫宾, 陈翔, 李龙, 杨帆. 一种基于类不平衡学习的情感分析方法[J]. 吉林大学学报(理学版), 2021, 59(4): 929-935.
[8]	王丽, 王涛, 肖巍, 刘兆赓, 李占山. XGBoost启发的双向特征选择算法[J]. 吉林大学学报(理学版), 2021, 59(3): 627-634.
[9]	杨舒涵, 李博, 周丰丰. 基于机器学习的跨患者癫痫自动检测算法[J]. 吉林大学学报(理学版), 2021, 59(1): 101-106.
[10]	王颖. 基于随机Fourier有监督特征变换降维算法的人脸检测方法[J]. 吉林大学学报(理学版), 2019, 57(3): 640-646.
[11]	刘久彪. 空间数据库反向最近邻聚类方法[J]. 吉林大学学报(理学版), 2019, 57(2): 387-392.
[12]	姚艳秋, 郑雅雯, 吕妍欣. 基于LS-SO算法的情感文本分类方法[J]. 吉林大学学报(理学版), 2019, 57(2): 375-379.
[13]	方秋莲, 王培锦, 隋阳, 郑涵颖, 吕春玥, 王艳彤. 朴素Bayes分类器文本特征向量的参数优化[J]. 吉林大学学报(理学版), 2019, 57(06): 1479-1485.
[14]	王颖, 曹捷, 邱志洋. 基于乌鸦搜索算法的新型特征选择算法[J]. 吉林大学学报(理学版), 2019, 57(04): 869-874.
[15]	郭凯文, 潘宏亮, 侯阿临. 基于特征选择和聚类的分类算法[J]. 吉林大学学报(理学版), 2018, 56(2): 395-398.