魏晓辉, 李聪, 李洪亮, 李翔, 刘圆圆, 李丽娜,庄园
WEI Xiaohui, LI Cong, LI Hongliang, LI Xiang, LIU Yuanyuan, LI Lina, ZHUANG Yuan
摘要:
针对流数据规模参差不齐、 流量动态变化且突发性较强的特点, 提出一种可伸缩的动态MapReduce计算模型, 支持大规模动/静态数据在线处理. 基于Event推送方式, 利用Netty底层异步通信方式等技术, 建立在线MapReduce数据传输机制, 进一步实现其原型程序, 解决了大规模分布式计算程序的快速在线传输和数据分发等问 题, 支持流数据动态分发机制, 为动态MapReduce模型提供支撑. 与HadoopOnline系统的传统Socket管道传送方式相比, 该方法能有效提高作业之间数据的传送效率, 从而提高大规模流数据处理的实时性.
中图分类号: