Hadoop DistCp参数使用

米兰的小铁將 2022-11-14 原文

1、简介

DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。官网地址：http://hadoop.apache.org/docs/r2.7.0/hadoop-distcp/DistCp.html

适合场景：数据异地灾；机房下线，数据迁移等。
优点：①可以限制带宽，使用bandwidth参数对distcp的每个map任务限流，同时控制map并发数量即可控制整个拷贝任务的带宽，防止拷贝任务将带宽打满，影响其它业务。
②支持overwrite（覆盖写，无条件覆盖目标文件，即使它们存在），update（增量写，如果dest文件的名称和大小与src文件不同，则覆盖；若目的文件大小和名称与源文件相同则跳过），delete（删除写，删除dst中存在的文件，但在src中不存在）等多种源和目的校验的拷贝方式，大量数据的拷贝必然要做到数据拷贝过程中的校验，来保证源和目的数据的一致性。

2、参数

 -append                       重用目标文件中的现有数据，并在可能的情况下添加新数据，新增进去而不是覆盖它
 -async                        是否应该阻塞distcp执行
 -atomic                       提交所有更改或不提交更改
 -bandwidth <arg>              以MB/second为单位指定每个map的带宽
 -delete                       删除目标文件中存在的文件，但在源文件中不存在，走HDFS垃圾回收站
 -diff <arg>                   使用snapshot diff报告来标识源和目标之间的差异
 -f <arg>                      需要复制的文件列表
 -filelimit <arg>              （已弃用！）限制复制到<= n的文件数
 -filters <arg>                从复制的文件列表中排除
 -i                            忽略复制过程中的失败
 -log <arg>                    HDFS上的distcp执行日志文件夹保存
 -m <arg>                      限制同步启动的map数，默认每个文件对应一个map，每台机器最多启动20个map
 -mapredSslConf <arg>          配置ssl配置文件，用于hftps：//
 -numListstatusThreads <arg>   用于构建文件清单的线程数(最多40个)，当文件目录结构复杂时应该适当增大该值
 -overwrite                    选择无条件覆盖目标文件，即使它们存在。
 -p <arg>                      保留源文件状态（rbugpcaxt）（复制，块大小，用户，组，权限，校验和类型，ACL，XATTR，时间戳）
 -sizelimit <arg>              （已弃用！）限制复制到<= n的文件数字节
 -skipcrccheck                 是否跳过源和目标路径之间的CRC检查。
 -strategy <arg>               选择复制策略，默认值uniformsize，每个map复制的文件总大小均衡；可以设置为dynamic，使更快的map复制更多的文件，以提高性能
 -tmp <arg>                    要用于原子的中间工作路径承诺
 -update                       如果目标文件的名称和大小与源文件不同，则覆盖；如果目标文件大小和名称与源文件相同则跳过

注意：如果设置了-overwrite或-update，则每个源URI和目标URI保持同级一致，如：

hadoop distcp -i  -p hdfs://192.168.40.100:8020/user/hive/warehouse/iot.db/dwd_pollution_distcp hdfs://192.168.40.200:8020/user/hive/warehouse/iot.db/
hadoop distcp -i -update -delete -p hdfs://192.168.40.100:8020/user/hive/warehouse/iot.db/dwd_pollution_distcp hdfs://192.168.40.200:8020/user/hive/warehouse/iot.db/dwd_pollution_distcp