全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

hadoop集群在做yarn优化的时候有哪些关于cpu相关的调优参数？

提问者：帅平问题分类：大数据

Hadoop

发布于：2个月前 (07-15) IP属地：四川省

1 个回答

扎起头发是矫情

1、yarn.nodemanager.resource.cpu-vcores

表示该节点上YARN可使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物理CPU总数。

2、yarn.scheduler.minimum-allocation-vcores

单个任务可申请的最小虚拟CPU个数，默认是1，如果一个任务申请的CPU个数少于该数，则该对应的值改为这个数。

3、yarn.scheduler.maximum-allocation-vcores

单个任务可申请的最多虚拟CPU个数，默认是32。对于一个CPU核数较多的集群来说，上面的默认配置显然是不合适的，在我的测试集群中，4个节点每个机器CPU核数为31，留一个给操作系统，可以配置为：根据经验， 物理core:vcores=1:2

发布于：2个月前 (07-15) IP属地：四川省

我来回答