为什么将Mapper和Reducer类声明为静态?

这可能表明我缺乏Java理解,但我想知道为什么在大多数MapReduce程序中mapper和reducer类被声明为静态?

将mapper和reducer类声明为另一个类的内部类时,必须将它们声明为static,以便它们不依赖于父类。

Hadoop使用reflection为每个映射创建类的实例,或者减少运行的任务。 创建的新实例需要一个零参数构造函数(否则它将如何知道要传递的内容)。

通过在没有static关键字的情况下声明内部映射器或reduce类,java compile实际上创建了一个构造函数,该构造函数期望在构造时传递父类的实例。

您应该能够通过对生成的类文件运行javap命令来查看此内容

此外,static关键字在父类声明中使用时无效(这就是为什么你从未在顶层看到它,但只在子类中看到它)

我可以想到两个原因:

  1. 执行map-reduce方法时, 不需要在对象中保留的状态。 因此,所有必要的信息都传递给方法,不需要在对象中存储额外的数据。 如果对象的生命周期不会超过一个方法调用,那么为什么要在实例化时挣扎呢?
  2. 拥有多个对象是没有意义的,您将实现Singleton Pattern的类似原因。