Tag: 烫伤

如何在Scalding中输出数据

我正在尝试将管道输出到不同的目录中，以便每个目录的输出将基于某些ID进行分区。 所以在一个普通的地图中减少代码我会使用MultipleOutputs类，我会在reducer中做这样的事情。 protected void reduce(final SomeKey key, final Iterable values, final Context context) { … for (SomeValue value: values) { String bucketId = computeBucketIdFrom(…); multipleOutputs.write(key, value, folderName + “/” + bucketId); … 所以我想在烫伤时可以这样做 … val somePipe = Csv(in, separator = “\t”, fields = someSchema, skipHeader = true) .read for (i (id.hashCode % numberOfBuckets) == i} […]