网站导航
> 文档中心 > 2.9 MRJob编写和运行MapReduce

2.9 MRJob编写和运行MapReduce

网友: 文档中心 2022-03-28 18:37:43

文章目录

  • mrjob
    • mrjob 简介
    • mrjob 安装
    • mrjob实现WordCount
  • 运行MRJOB的不同方式
    • mrjob 实现 topN统计
    • 参考

mrjob

mrjob 简介

  • 使用python开发在Hadoop上运行的程序, mrjob是最简单的方式
  • mrjob程序可以在本地测试运行也可以部署到Hadoop集群上运行
  • 如果不想成为hadoop专家, 但是需要利用Hadoop写MapReduce代码,mrJob是很好的选择

mrjob 安装

  • 使用pip安装
    • pip install mrjob

mrjob实现WordCount

from mrjob.job import MRJob
网络标签：

相关问题