hadoop随笔

2020-12-14 02:41:15 编辑 0 阅读量:476

1、当运行程序时，有可能会提示hadoop处于safe mode，对分布式文件的任何修改都不能生效，这是由于部分block损坏，造成整体错误率打鱼某一个值，可以对该值进行配置，或者直接停止此次的safe mode

```bash
$ $HADOOP_HOME/bin/hadoop dfsadmin -safemode leave
```

2、当一个Hadoop Yarn集群，被多个业务、多个用户同时使用，共享Yarn的资源，如果不做资源的管理与规划，那么整个Yarn的资源很容易被某一个用户提交的Application占满，其它任务只能等待，这种当然很不合理，我们希望每个业务都有属于自己的特定资源来运行MapReduce任务，此时可以启用容器调度器，配置下$HADOOP_HOME/etc/hadoop/capacity-scheduler.xml中。
参考：
http://debugo.com/yarn-scheduler/
http://www.debugrun.com/a/a1bZCLy.html

```
YARN队列提交SPARK任务权限控制

转载请注明出处：http://www.cnblogs.com/xiaodf/

1 CapacityScheduler 1.1 模型介绍 1.2 资源分配相关参数 1.3 限制应用程序数目相关参数 1.4 队列访问和权限控制参数 2 线上实例 2.1 配置 2.2 测试 2.2.1 用户user01能访问队列wa，不能访问队列yq 2.2.2 用户user02能访问队列yq，不能访问队列wa 2.2.3 用户admin能访问所有队列 3 参考

1 CAPACITYSCHEDULER

1.1 模型介绍

Capacity Scheduler是一个hadoop支持的可插拔的资源调度器，它允许多租户安全的共享集群资源，它们的applications在容量限制之下，可以及时的分配资源。使用操作友好的方式运行hadoop应用，同时最大化吞吐能力和集群利用率。
Capacity Scheduler提供的核心理念就是Queues（队列），这些queues通常有管理员设定。为了在共享资源上，提供更多的控制和预见性，Capacity Scheduler支持多级queue，以确保在其他queues允许使用空闲资源之前，资源可以在一个组织的sub-queues之间共享。

1.2 资源分配相关参数

（1） capacity：队列的资源容量（百分比）。 当系统非常繁忙时，应保证每个队列的容量得到满足，而如果每个队列应用程序较少，可将剩余资源共享给其他队列。注意，所有队列的容量之和应小于100。
（2） maximum-capacity：队列的资源使用上限（百分比）。由于存在资源共享，因此一个队列使用的资源量可能超过其容量，而最多使用资源量可通过该参数限制。
（3） user-limit-factor：每个用户最多可使用的资源量（百分比）。比如，假设该值为30，则任何时刻，每个用户使用的资源量不能超过该队列容量的30%。

1.3 限制应用程序数目相关参数

（1） maximum-applications ：集群或者队列中同时处于等待和运行状态的应用程序数目上限，这是一个强限制，一旦集群中应用程序数目超过该上限，后续提交的应用程序将被拒绝，默认值为10000。所有队列的数目上限可通过参数yarn.scheduler.capacity.maximum-applications设置（可看做默认值），而单个队列可通过参数yarn.scheduler.capacity..maximum-applications设置适合自己的值。
（2） maximum-am-resource-percent：集群中用于运行应用程序ApplicationMaster的资源比例上限，该参数通常用于限制处于活动状态的应用程序数目。该参数类型为浮点型，默认是0.1，表示10%。所有队列的ApplicationMaster资源比例上限可通过参数yarn.scheduler.capacity. maximum-am-resource-percent设置（可看做默认值），而单个队列可通过参数yarn.scheduler.capacity.. maximum-am-resource-percent设置适合自己的值。

1.4 队列访问和权限控制参数

（1） acl_submit_applications：限定哪些Linux用户/用户组可向给定队列中提交应用程序。需要注意的是，该属性具有继承性，即如果一个用户可以向某个队列中提交应用程序，则它可以向它的所有子队列中提交应用程序。配置该属性时，用户之间或用户组之间用“，”分割，用户和用户组之间用空格分割，比如“user1, user2 group1,group2”。
（2） acl_administer_queue：为队列指定一个管理员，该管理员可控制该队列的所有应用程序，比如杀死任意一个应用程序等。同样，该属性具有继承性，如果一个用户可以向某个队列中提交应用程序，则它可以向它的所有子队列中提交应用程序。

2 线上实例

2.1 配置

在CM页面，进入yarn配置，选择“容量调度程序配置高级配置代码段（安全阀）”，写入如下内容，保存，按页面提示刷新，最后依次重启下备用和活动的ResourceManager角色使配置生效。

<?xml version="1.0" encoding="UTF-8"?>
<configuration> 
  <property> 
    <name>yarn.scheduler.capacity.root.queues</name>  
    <value>default,wa,yq</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.capacity.root.capacity</name>  
    <value>100</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.capacity.root.acl_administer_queue</name>  
    <value>admin</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.capacity.root.acl_submit_applications</name>  
    <value>admin</value> 
  </property>
  <property> 
    <name>yarn.scheduler.capacity.root.default.capacity</name> 
    <value>30</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>  
    <value>35</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.capacity.root.wa.capacity</name>  
    <value>45</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.capacity.root.wa.maximum-capacity</name>  
    <value>50</value> 
  </property>  
<property> 
    <name>yarn.scheduler.capacity.root.yq.capacity</name>  
    <value>25</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.capacity.root.yq.maximum-capacity</name>  
    <value>30</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.capacity.root.wa.acl_administer_queue</name>  
    <value>admin,user01</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.capacity.root.wa.acl_submit_applications</name>  
    <value>admin,user01</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.capacity.root.yq.acl_administer_queue</name>  
    <value>admin,user02</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.capacity.root.yq.acl_submit_applications</name>  
    <value>admin,user02</value> 
  </property>  
   <property> 
    <name>yarn.scheduler.capacity.resource-calculator</name>  
    <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value> 
  </property>  
</configuration>
以上配置生效后可以进入Yarn Web UI页面查看，队列设置是否正确，如下所示：

注意：
1、 所有队列的capacity容量和为100%
2、 配置文件标红参数：
yarn.scheduler.capacity.root.acl_administer_queue
和yarn.scheduler.capacity.root.acl_submit_applications表示admin用户为根队列的超级用户，即可操作根队列下的所有子队列，这个两个参数必须设置，否则，对子队列设置的用户访问控制不会生效。

2.2 测试

【2.1 配置】里我们分别配置了队列wa和yq的可访问用户，即用户user01可访问队列wa，用户user02可访问队列yq，用户admin对可访问所有队列，下面我们对以上设置进行测试。
我们通过在yarn队列中能否提交spark-shell来验证用户对队列是否有访问权限。

2.2.1 用户USER01能访问队列WA，不能访问队列YQ

[root@node1a142 ~]# kinit user01
Password for user01@HADOOP.COM: 
用户user01对队列wa有访问权限，spark-shell正常提交

[root@node1a142 ~]# spark-shell --master yarn --queue wa
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.0
      /_/

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_67)
Type in expressions to have them evaluated.
Type :help for more information.
Spark context available as sc (master = yarn-client, app id = application_1483697304069_0012).
SQL context available as sqlContext.

scala> 
用户user01对队列yq没有访问权限，spark-shell提交报错

[root@node1a142 ~]# spark-shell --master yarn --queue yq
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.0
      /_/

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_67)
Type in expressions to have them evaluated.
Type :help for more information.
17/01/09 14:29:09 ERROR spark.SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.
不指定队列时，使用的是默认队列default,用户user01没有权限，spark-shell提交报错

[root@node1a142 ~]# spark-shell --master yarn 
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.0
      /_/

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_67)
Type in expressions to have them evaluated.
Type :help for more information.
17/01/09 16:50:15 ERROR spark.SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.

2.2.2 用户USER02能访问队列YQ，不能访问队列WA

跟user01测试结果相似，此处略。

2.2.3 用户ADMIN能访问所有队列

[root@node1a142 ~]# kinit admin
Password for admin@HADOOP.COM: 
用户admin对队列wa有访问权限，spark-shell正常提交

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_67)
Type in expressions to have them evaluated.
Type :help for more information.
Spark context available as sc (master = yarn-client, app id = application_1483949565487_0001).
SQL context available as sqlContext.
scala> 
用户admin对队列yq有访问权限，spark-shell正常提交

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_67)
Type in expressions to have them evaluated.
Type :help for more information.
Spark context available as sc (master = yarn-client, app id = application_1483949565487_0002).
SQL context available as sqlContext.

scala>
用户admin对默认队列default也有访问权限，spark-shell正常提交

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_67)
Type in expressions to have them evaluated.
Type :help for more information.
Spark context available as sc (master = yarn-client, app id = application_1483949565487_0003).
SQL context available as sqlContext.

scala>

3 参考文档

http://hadoop.apache.org/docs/r1.2.1/capacity_scheduler.html

http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-capacity-scheduler/

http://dongxicheng.org/mapreduce/hadoop-capacity-scheduler/
```

hadoop随笔

附件: