吉林大学学报(工学版) ›› 2011, Vol. 41 ›› Issue (增刊2): 254-258.

• 论文 • 上一篇    下一篇

海量数据的网格启发信息密度聚类算法

张海龙1, 王仁彪2, 聂俊1, 刘进忠1   

  1. 1. 中国科学院新疆天文台, 乌鲁木齐, 830011;
    2. 天津理工大学中环信息学院, 天津300380
  • 收稿日期:2010-09-25 出版日期:2011-09-30 发布日期:2011-09-30
  • 通讯作者: 王仁彪(1986),男,硕士研究生。研究方向:软件与理论。E-mail:Wrbiao@jlu.edu.cn E-mail:Wrbiao@jlu.edu.cn
  • 作者简介:张海龙(1980),男,博士。研究方向:软件与理论。E-mail:Zhanghailong@xao.ac.cn
  • 基金资助:

    国家自然科学基金面上项目(10973026);“西部之光”博士资助项目(XBBS201023、XBBS2011022);“新视野”国家正确认识天文台和美国邓普顿基金联合项目(100020101);新疆自治区科学基金面上项目(2011211A104)

Grid heuristic information density clustering algorithm based on mass data

ZHANG Hai-long1, WANG Ren-biao2, NIE Jun1, LIU Jin-zhong1   

  1. 1. Xinjiang Astronomical Observatory, Chinese Academy of Sciences, Ulumqi 830011, China;
    2. Zhonghuan Information College Tianjin University of Technology, Tianjin 300380, China
  • Received:2010-09-25 Online:2011-09-30 Published:2011-09-30

摘要:

提出了一种基于网格密度的混合聚类算法。该算法使用平方误差密度函数作为密度评估标准,避免了传统密度算法由于Eps和MinPts设置不当给聚类效果带来的不稳定因素。提出了动态邻域半径策略,解决了传统密度算法采用全局静态邻域半径造成的聚类偏差问题。对空间区域内的所有结点设置网格密度启发信息。在进行数据结构构造和邻域半径计算时,只需计算对应网格区域内结点,从而降低了计算成本;在进行区域查询时,只选择符合条件的代表对象进行扩展,从而减少了查询次数,节省了程序运行时间。对Pendigits数据集和SE-QUOIA 2000数据库进行测试,结果表明:提出的基于网格密度的混合快速聚类算法在海量数据聚类精度、聚类时间以及聚类稳定性上要优于传统的聚类算法。

关键词: 计算机应用, 聚类, 网格密度, 平方误差密度

Abstract:

This article proposes a mixed clustering algorithm based on grid density,which took Square Inaccuracy Density function as density evaluation criterion and avoided instability factors of classic density algorithm caused by improper setting of Eps and MinPts.It posed a kind of dynamic neighborhood radius strategy and solved the clustering deviation problem caused by classic density algorithm adopting global static neighborhood radius.In addition,it set the grid density heuristic information on all nodes in the spatial domain.It just needed computing the values of nodes in the grid domain,when constructing data structure and computing neighborhood radius,which cut the computing cost.Moreover,it just selected the representative points meeting a criterion to expand,which reduced the times of selecting and saved the running time.Finally,this article tested the algorithm in the Pendigits datasets and SEQUOIA 2000 database and the experimental results suggested that Grid Heuristic Information density clustering algorithm had a better performance than classic clustering algorithm in the clustering precision,clustering time and clustering stability.

Key words: computer application, clustering, grid density, square inaccuracy density

中图分类号: 

  • TP391.3


[1] Wang Xi-zhao,Wang Ya-dong,Zhan Yan,et al.Optimization of k-means clustering by feature weightlearning
[J].Journal of computer Research and De-velopment,2003(6):869-873.

[2] Jiang Sheng-yi,Li Xia.A hybrid clustering algorithm
[C]∥Proceedings of the6th International Conference on Fuzzy Systems and Knowledge Discovery,2009.

[3] Jiang Hua,Yi Sheng-he,Li Jing.Ant clustering algorithm with K-harmonic means clustering
[J].Expert Systems with Applications:An InternationalJ ournal,2010,37(12):8679-8684.

[4] Ali T,Asghar S,Sajid N A.Critical analysis of DBSCAN variations
[C]∥2010International Conference on Information and Emerging Technologies(ICIET),2010.

[5] Chen Min,Gao Xue-dong,Li Hui-fei.Parallel DB-SCAN with Priority R-tree
[C]∥2010The2nd IEEE International Conference on Information Man-agement and Engineering(ICIME),2010.

[6] Zhou Shui-geng,Zhou Ao-ying,Jin Wen,et al.A fast DBSCAN algorithm
[J].Journal of Software, 2000,11:735-744.

[7] Ertoz L,Steinbach M,Kumar V A.A new shared nearest neighbor clustering algorithm and its applications
[C]∥Workshop on Clustering High Dimen-sional Data and its Applications,Second SIAM International Conference on Data Mining,Arlington,USA,2002.

[1] 刘富,宗宇轩,康冰,张益萌,林彩霞,赵宏伟. 基于优化纹理特征的手背静脉识别系统[J]. 吉林大学学报(工学版), 2018, 48(6): 1844-1850.
[2] 王利民,刘洋,孙铭会,李美慧. 基于Markov blanket的无约束型K阶贝叶斯集成分类模型[J]. 吉林大学学报(工学版), 2018, 48(6): 1851-1858.
[3] 金顺福,王宝帅,郝闪闪,贾晓光,霍占强. 基于备用虚拟机同步休眠的云数据中心节能策略及性能[J]. 吉林大学学报(工学版), 2018, 48(6): 1859-1866.
[4] 赵东,孙明玉,朱金龙,于繁华,刘光洁,陈慧灵. 结合粒子群和单纯形的改进飞蛾优化算法[J]. 吉林大学学报(工学版), 2018, 48(6): 1867-1872.
[5] 刘恩泽,吴文福. 基于机器视觉的农作物表面多特征决策融合病变判断算法[J]. 吉林大学学报(工学版), 2018, 48(6): 1873-1878.
[6] 刘仲民,王阳,李战明,胡文瑾. 基于简单线性迭代聚类和快速最近邻区域合并的图像分割算法[J]. 吉林大学学报(工学版), 2018, 48(6): 1931-1937.
[7] 欧阳丹彤, 范琪. 子句级别语境感知的开放信息抽取方法[J]. 吉林大学学报(工学版), 2018, 48(5): 1563-1570.
[8] 刘富, 兰旭腾, 侯涛, 康冰, 刘云, 林彩霞. 基于优化k-mer频率的宏基因组聚类方法[J]. 吉林大学学报(工学版), 2018, 48(5): 1593-1599.
[9] 桂春, 黄旺星. 基于改进的标签传播算法的网络聚类方法[J]. 吉林大学学报(工学版), 2018, 48(5): 1600-1605.
[10] 刘元宁, 刘帅, 朱晓冬, 陈一浩, 郑少阁, 沈椿壮. 基于高斯拉普拉斯算子与自适应优化伽柏滤波的虹膜识别[J]. 吉林大学学报(工学版), 2018, 48(5): 1606-1613.
[11] 车翔玖, 王利, 郭晓新. 基于多尺度特征融合的边界检测算法[J]. 吉林大学学报(工学版), 2018, 48(5): 1621-1628.
[12] 张曼, 施树明. 典型汽车运行工况的状态转移特征分析[J]. 吉林大学学报(工学版), 2018, 48(4): 1008-1015.
[13] 赵宏伟, 刘宇琦, 董立岩, 王玉, 刘陪. 智能交通混合动态路径优化算法[J]. 吉林大学学报(工学版), 2018, 48(4): 1214-1223.
[14] 黄辉, 冯西安, 魏燕, 许驰, 陈慧灵. 基于增强核极限学习机的专业选择智能系统[J]. 吉林大学学报(工学版), 2018, 48(4): 1224-1230.
[15] 傅文博, 张杰, 陈永乐. 物联网环境下抵抗路由欺骗攻击的网络拓扑发现算法[J]. 吉林大学学报(工学版), 2018, 48(4): 1231-1236.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
No Suggested Reading articles found!