Custom Map Reduce Program on Hive, what’s the Rule? How about input and output?
我被困了几天，因为我想根据我在 hive 上的查询创建一个自定义 map reduce 程序，我在谷歌上搜索后发现的例子不多，我仍然对规则感到困惑。
创建我的自定义mapreduce程序的规则是什么，mapper和reducer类呢？
谁能提供任何解决方案？
我想用Java开发这个程序，但我还是卡住了，然后在collector中格式化输出时，如何在mapper和reducer类中格式化结果？
有人想给我一些关于这种东西的例子和解释吗？
基本上有两种方法可以将自定义映射器/缩减器添加到 hive 查询。
SELECT TRANSFORM(stuff1, stuff2) FROM table1 USING ‘script’ AS thing1,
thing2
其中 stuff1, stuff2 是 table1 中的字段，而 script 是接受我稍后描述的格式的任何可执行文件。 thing1, thing2 是 script
的输出
2
3
4
5
6
7
8
9
10
FROM table
MAP table.f1 table.f2
USING ‘map_script’
AS mp1, mp2
CLUSTER BY mp1) map_output
INSERT OVERWRITE TABLE someothertable
REDUCE map_output.mp1, map_output.mp2
USING ‘reduce_script’
AS reducef1, reducef2;
这稍微复杂一些，但提供了更多控制。这有两个部分。在第一部分中，映射器脚本将从 table 接收数据并将其映射到字段 mp1 和 mp2。然后将这些传递给 reduce_script，此脚本将接收我们在 CLUSTER BY mp1 中指定的键的排序输出。请注意，一个减速器将处理多个键。 reduce 脚本的输出将转到表 someothertable
现在所有这些脚本都遵循一个简单的模式。他们将从标准输入中逐行读取。字段将被 \\t 分隔，它们将以相同的方式写回标准输出(由 \\’\\\\\\\\t\\’ 分隔的字段)
看看这个博客，有一些很好的例子。
http://dev.bizo.com/2009/07/custom-map-scripts-and-hive.html
http://dev.bizo.com/2009/10/reduce-scripts-in-hive.html
- 感谢古铜色的精彩解释。这对我真的很有帮助。您能否也看看我发布的另一个问题 http://stackoverflow.com/questions/11572800/what-will-be-the??-rank-udf-for-this-s??cenario。对我会有很大的帮助。
- 当我尝试您的第一个查询时，我收到以下错误：FAILED: ParseException line 1:33 cannot identify input near \\’FROM\\’ \\’table1\\’ \\’USING\\’ in record writer specification。我正在使用 hive-0.11。有任何想法吗？
- 好像语法变了。 SELECT TRANSFORM(line) USING \\’/bin/cat\\’ AS 转换自帖子； using 关键字现在位于 FROM 关键字之前。请参阅stackoverflow.com/questions/16320185/…
- 在使用 Map Reduce 的情况下，输入表是否可以直接来自 S3 源(我的意思是说在此之前没有创建表)？我的意思是可以使用 MAPPER 完成类似 LOAD TABLE 的操作。
来源：https://www.codenong.com/6178614/
