关于集群计算:Hadoop管理 | 珊瑚贝

Hadoop Administration


我设置了一个 Hadoop 1.2.x 版本,两节点集群。第一个节点(NameNode、Jobtracker)和第二个节点(Secondary NameNode、Datanode、TaskTracker)。

如何将每个节点的 map 和 reduce slot 分别设置为 4 和 2
以及如何从命令行验证相同的内容。


要为每个 tasktracker 节点设置 slots,请限制一个节点可以同时运行的最大任务数。

将这些属性添加到 mapred-site.xml

1
2
3
4
5
6
7
8
<property>
   <name>mapred.tasktracker.map.tasks.maximum</name>
   <value>4</value>
</property>
<property>
   <name>mapred.tasktracker.reduce.tasks.maximum</name>
   <value>2</value>
</property>

您可以使用

检查 jobtracker 使用的配置

1
hadoop jobtracker -dumpConfiguration

  • 谢谢你富兰克林西乔。非常感谢你。


来源:https://www.codenong.com/42604852/

微信公众号
手机浏览(小程序)

Warning: get_headers(): SSL operation failed with code 1. OpenSSL Error messages: error:14090086:SSL routines:ssl3_get_server_certificate:certificate verify failed in /mydata/web/wwwshanhubei/web/wp-content/themes/shanhuke/single.php on line 57

Warning: get_headers(): Failed to enable crypto in /mydata/web/wwwshanhubei/web/wp-content/themes/shanhuke/single.php on line 57

Warning: get_headers(https://static.shanhubei.com/qrcode/qrcode_viewid_9761.jpg): failed to open stream: operation failed in /mydata/web/wwwshanhubei/web/wp-content/themes/shanhuke/single.php on line 57
0
分享到:
没有账号? 忘记密码?