Tag: map function

Java – Spark SQL DataFrame映射函数不起作用

在Spark SQL中，当我尝试在DataFrame上使用map函数时，我得到了以下错误。 DataFrame类型中的方法映射（Function1，ClassTag）不适用于参数（new Function（）{}） 我也关注spark 1.3文档。 https://spark.apache.org/docs/latest/sql-programming-guide.html#inferring-the-schema-using-reflection有任何解决方案吗？ 这是我的测试代码。 // SQL can be run over RDDs that have been registered as tables. DataFrame teenagers = sqlContext.sql(“SELECT name FROM people WHERE age >= 13 AND age <= 19"); List teenagerNames = teenagers.map( new Function() { public String call(Row row) { return “Name: ” + row.getString(0); } }).collect();

在java流中使用多个映射函数与映射中的块语句

说我有以下代码 data.stream() .map(x -> { Object a = maybeReturnsNull(x); return a == null ? defaultValue : a; }) 我有一些函数可能返回null ，我将它应用于流的元素。 然后我想确保将任何null结果更改为某个默认值。 与使用上一个定义辅助变量a并在lambda表达式中使用代码块的示例相比，使用两个映射之间是否存在任何显着差异（如下例所示）？ data.stream() .map(x -> maybeReturnsNull(x)) .map(x -> x == null ? defaultValue : x) 有没有标准在哪里或不避免使用lambda函数的块语句？