hadoop运维笔记
一. 故障处理部分
1.1. spark提交任务报错java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSON
报错原因： 在运行环境没有找到fastjson的依赖库
解决方法： 在SPARK_HOME/jars/ 添加fastjson-VERSION.jar包。 例如我的环境下SPARK_HOME是/usr/local/service/spark/。
[hadoop@10 ~]$ ls $SPARK_HOME/jars/fast*
/usr/local/service/spark/jars/fastjson-1.2.12.jar
1.2. 跨HDFS集群、HDFS属主用户不同，传输文件没有权限的问题
这个问题衍生出两件事，把这两件事处理完问题即可解决。
- 不同集群间地址解析
- 不同集群间属主关系
先看一下不同集群间地址解析。要想跨集群传输文件，首先得确定集群相互”认识”，即集群间确定通过ip或者hostname可达。在ip可达的前提下，我们判断集群间是否”认识”，则需要检查hdfs-site.xml中dfs.namenode.datanode.registration.ip-hostname-check这项配置。它表示是否将ip反向解析成主机名，默认为true。如果未设置这一项，则需要对/etc/hosts添加主机解析，对于HDFS这种规模性集群来说，这很显然是比较繁琐的。
对于不同集群间属主关系来说，可以通过修改被传文件权限或通过添加用户、附加组使用户获得文件的读取权限。
1.3 HDFS中hdfshosts直接使用ip遇到的问题
故障描述：
- 在hdfs web页面显示dn全部dead
- strace 追踪dn进程，发现连接nn超时
- 查看dn日志报错如下：
18/11/27 22:53:00 ERROR datanode.DataNode: Initialization failed for Block pool BP-958982478-10.0.220.44-1543329751956 (Datanode Uuid null) service to /10.0.220.44:9100 Datanode denied communication with namenode because hostname cannot be resolved (ip=10.0.220.48, hostname=10.0.220.48): DatanodeRegistration(0.0.0.0:50010, datanodeUuid=1e26933b-35a3-4d3f-8c5f-3ab03f10ca62, infoPort=50075, infoSecurePort=0, ipcPort=50020, storageInfo=lv=-56;cid=CID-1f213b85-b28c-4824-a44c-813c95ce7ecc;nsid=1612667934;c=0)
at org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager.registerDatanode(DatanodeManager.java:852)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:4486)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.registerDatanode(NameNodeRpcServer.java:1286)
at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolServerSideTranslatorPB.registerDatanode(DatanodeProtocolServerSideTranslatorPB.java:96)
at org.apache.hadoop.hdfs.protocol.proto.DatanodeProtocolProtos$DatanodeProtocolService$2.callBlockingMethod(DatanodeProtocolProtos.java:28752)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2217)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2213)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1758)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2213)
问题分析：
首先想到的就是NN与DN通信出现了问题。但是如题所述”直接使用ip”，也就是说不在/etc/hosts做任何配置的前提下能正常工作。这时就需要考虑怎样在hdfs的配置里面能够使DN直接通过ip来访问NN，即禁用对DN的ip做反向域名解析。
解决方法:
在NameNode节点 的 hdfs-site.xml添加如下内容
<property>
<name>dfs.namenode.datanode.registration.ip-hostname-check</name>
<value>false</value>
</property>
1.4 ambari hive server2启动失败。
报错日志如下
Caused by: java.sql.SQLException: Access denied for user \'hive\'@\'xx.xx.xx.xx\'(using password: YES)
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1078)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4187)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4119)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:927)
at com.mysql.jdbc.MysqlIO.proceedHandshakeWithPluggableAuthentication(MysqlIO.java:1709)
at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1252)
at com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2488)
at com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2521)
at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2306)
at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:839)
at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:49)
at sun.reflect.GeneratedConstructorAccessor17.newInstance(Unknown Source)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)
at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:421)
at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:350)
at java.sql.DriverManager.getConnection(DriverManager.java:664)
at java.sql.DriverManager.getConnection(DriverManager.java:208)
at com.jolbox.bonecp.BoneCP.obtainRawInternalConnection(BoneCP.java:361)
at com.jolbox.bonecp.BoneCP.<init>(BoneCP.java:416)
... 71 more
手动连接mysql依然连接不上，检查发现连接权限不够，重新授权后，启动成功。
1.5 通过flume HDFSSink 写HDFS丢数据
flume 日志报错如下
30 Jul 2018 21:33:01,573 WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.BucketWriter.append:545) - Caught IOException writing to HDFSWriter (No lease on /tmp/20180730/2018073021.1564493581533.json.tmp (inode 33774359): File does not exist. [Lease. Holder: DFSClient_NONMAPREDUCE_-2075237917_36, pendingcreates: 1]
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:3432)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.analyzeFileState(FSNamesystem.java:3233)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNewBlockTargets(FSNamesystem.java:3071)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3031)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:725)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:492)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2049)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2045)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2045)
). Closing file (hdfs://xx.xx.xx.xx:xx/tmp/20180730//2018073021.1564493581533.json.tmp) and rethrowing exception.
问题分析:
从报错情况来看，flume 使用HDFSWriter.appened方法写事件时，发现临时文件已经没有租约，并未找到该文件，然后尝试close文件，发现文件早已经close，再次抛出异常。
为什么出现这种情况呢？通过查看配置文件sink部分，发现hdfs.idleTimeout 的值设置过小。
agent.sinks.k1.type = hdfs
agent.sinks.k1.hdfs.path = "hdfs地址"
agent.sinks.k1.hdfs.filePrefix = %Y%m%d%H
agent.sinks.k1.hdfs.fileSuffix = .json
agent.sinks.k1.hdfs.useLocalTimeStamp=true
agent.sinks.k1.hdfs.writeFormat = Text
agent.sinks.k1.hdfs.fileType = DataStream
agent.sinks.k1.hdfs.rollInterval = 300
agent.sinks.k1.hdfs.rollSize = 5073741824
agent.sinks.k1.hdfs.batchSize = 10000
agent.sinks.k1.hdfs.rollCount = 0
agent.sinks.k1.hdfs.callTimeout = 100000
agent.sinks.k1.hdfs.idleTimeout = 30
agent.sinks.k1.hdfs.round = true
agent.sinks.k1.hdfs.roundValue =60
agent.sinks.k1.hdfs.roundUnit = minute
由于这个值设置的太小，然后每隔30s 就会判断正在 bucketWriter 的文件是否更新，如果没有更新 ，他就会flush， 然后关闭bucketWriter 。而实际上我们的source类型采用的是spooldir，每60s才会产生新文件。在没有延迟的情况下，每60s bucketWriter才会更新，最后就导致一部分正常的HDFS写请求失败。
解决方法：
修改hdfs.idleTimeout 的值为 hdfs.rollInterval 的2倍。
agent.sinks.k1.hdfs.idleTimeout = 600
hdfs.rollInterval 为hdfs文件的回滚周期，刚好达到rollInterval 需要回滚时，若出现HDFS或者网络错误，导致回滚失败。那么就经常在hdfs上出现很多.tmp文件。这时如果设置了hdfs.idleTimeout ，就可以很好的解决这个问题。但是切记，不可以设置的太短。建议稍微大于 hdfs.rollInterval 值。
二. hadoop集群平滑退役/上线节点(DataName/tasktracker or NodeManager)
在生产环境中可能会遇到退役(下线)服务器需求，对于计算节点来说强制下线节点影响的只是task作业，但是对于HDFS来说，就会出现数据丢失的风险。当然hadoop也提供了平滑下线的机制。
2.1 退役DataNode
2.1.1 在namenode节点hdfs-site.xml中增加配置,PATH路径根据自己实际情况进行修改
<property>
<name>dfs.hosts.exclude</name>
<value>/usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts</value>
</property>
2.1.2 在相关文件中添加需要退役的主机
[hadoop@10 ~]$ cat /usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts
10.0.0.1
10.0.0.2
2.1.3 在NameNode 运行以下命令，将经过审核的DataNode更新至NameNode。 执行该命令后，将会对节点10.0.0.1和10.0.0.2 数据进行迁移
[hadoop@10 ~]$ hdfs dfsadmin -refreshNodes
2.1.4 查看下线情况
hdfs dfsadmin -report
Decomissioning标记的即为正在下线的DataNode，hadoop集群会将下线的DataNode数据块复制到其他节点。
复制完成之后会变成Decommission Status : Decommissioned。
2.1.5 下线完成后，清空/usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts 文件
[hadoop@10 ~]$ > /usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts
注意: 如果hadoop集群为HA，则需要在2个主控节点做相同操作
2.2 退役NodeManager 节点
2.2.1 在RM(ResourceManager)节点yarn-site.xml中增加配置,PATH路径根据自己实际情况进行修改
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/usr/local/service/hadoop/etc/hadoop/yarnexcludedhosts</value>
</property>
2.2.2 在相关文件中添加需要退役的主机
[hadoop@10 ~]$ cat /usr/local/service/hadoop/etc/hadoop/yarnexcludedhosts
10.0.0.1
10.0.0.2
2.2.3 在RM节点 运行以下命令，将经过审核的NodeManager更新至RM
[hadoop@10 ~]$ yarn rmadmin -refreshNodes
2.2.4 下线完成后，在nodes include文件中去掉下线的机器,并清空exclude 文件
#yarn-site.xml 中nodes include 配置路径，路径根据自己实际情况
<property>
<name>yarn.resourcemanager.nodes.include-path</name>
<value>/usr/local/service/hadoop/etc/hadoop/yarnhosts</value>
</property>
[hadoop@10 hadoop]$ > /usr/local/service/hadoop/etc/hadoop/yarnexcludedhosts
注意: 如果hadoop集群为HA，则需要在2个主控节点做相同操作
2.3 上线DataNode节点
2.3.1 修改dfs.hosts对应配置文件,添加需要上线的机器
[hadoop@10 ~]$ cat /usr/local/service/hadoop/etc/hadoop/hdfshosts
10.0.100.53
10.0.100.52
2.3.2 在NameNode节点运行以下命令，将经过审核的datanode更新至namenode
[hadoop@10 ~]$ hdfs dfsadmin -refreshNodes
2.3.3 检查是否上线成功
hdfs dfsadmin -report
注意: 如果hadoop集群为HA，则需要在2个主控节点做相同操作
2.4 上线NodeManager节点
2.4.1 在nodes include文件中添加需要上线的机器
#yarn-site.xml 中nodes include 配置路径，路径根据自己实际情况
<property>
<name>yarn.resourcemanager.nodes.include-path</name>
<value>/usr/local/service/hadoop/etc/hadoop/yarnhosts</value>
</property>
[hadoop@10 ~]$ cat /usr/local/service/hadoop/etc/hadoop/yarnhosts
10.0.100.53
10.0.100.52
2.4.2 在RM节点 运行以下命令，将经过审核的NodeManager更新至RM
[hadoop@10 ~]$ yarn rmadmin -refreshNodes
注意: 如果hadoop集群为HA，则需要在2个主控节点做相同操作
三. hadoop集群标签加入与退出
在生产环境中除了会遇到退役(下线)服务器需求，也可能会对集群标签做一些相关操作，下面主要说一下在集群中如何从标签中添加或退出节点
标签相关操作
列出当前集群中存在的节点标签
yarn cluster --list-node-labels
删除当前集群中已存在的节点标签
yarn rmadmin -removeFromClusterNodeLabels "<label1>,<label2>,..."
添加节点标签到节点上
yarn rmadmin -replaceLabelsOnNode "node1.example.com=X"
通过如下命令可以批量从节点标签中添加节点
$ cat addNodeList.txt
node1.example.com
node2.example.com
node3.example.com
node4.example.com
node5.example.com
$ cat addNodeList.txt | xargs -t -i yarn rmadmin -replaceLabelsOnNode "{}=X"
从节点标签中移除节点
yarn rmadmin -replaceLabelsOnNode "node1.example.com"
通过如下命令可以批量从节点标签中移除节点
cat addNodeList.txt
node1.example.com
node2.example.com
node3.example.com
node4.example.com
node5.example.com
$ cat addNodeList.txt | xargs -t -i yarn rmadmin -replaceLabelsOnNode "{}"