计算机工程与应用››2017,第53卷››问题(4): 106-112.内政部:10.3778/j.issn.1002-8331.1507-0239

大数据与云计算 • 上一篇   下一篇

基于MapReduce的无线城市社团发现算法研究

王永贵1,张  燕1,杨东东2  

  1. 1辽宁工程技术大学 软件学院,辽宁 葫芦岛 125105
    2中国科学技术大学 软件学院,合肥 230001
  • 出版日期:2017-02-15 发布日期:2017-05-11

基于MapReduce的无线城市社区发现算法研究

王永贵1、张艳1、杨栋栋2  

  1. 1.辽宁工业大学软件学院,辽宁葫芦岛,125105,中国
    2.中国科技大学软件学院,合肥230001
  • 在线:2017-02-15 出版:2017-05-11

摘要:对于无线城市数据中社团发现问题,针对已有的团搜索(CS)算法运行过程生成大量重复团、生成结果冗余、算法时间复杂度较高等问题,从优化边存储、预先进行边处理、搜索建团入手,用特殊的二叉树结构存储、权重【K】选择排序、深度优先遍历构建T-CS公司算法。针对海量数据溢出问题,结合MapReduce、MP-T-CS算法。实验证明,MP-T-CS公司算法不仅可以解决运行过程大量重复团问题,时间代价大大降低,对海量数据的处理能力大大提升,生成团的代表性大大提高。

关键词: 社团发现, 团搜索, 二叉树, 深度遍历, [K] , MapReduce

摘要:针对无线城市的社区发现问题,现有的团搜索算法在运行过程中产生了大量重复组、结果冗余和计算复杂度高等问题。从侧面存储优化、提前边缘处理、搜索生成组,使用特殊的二叉树存储、权重[K]选择排序、深度优先遍历算法构建T-CS算法。针对海量数据溢出问题,结合MapReduce模型,提出了MP-T-CS算法。实验表明,MP-T-CS算法不仅可以解决运算过程中产生大量重复组的问题,而且大大减少了时间,极大地提高了海量数据处理能力的成本,极大地提高了组结果的代表性。

关键词: 社区调查, 群组搜索, 二叉树, 深度遍历, [K] 选择排序, MapReduce