ERROR tool.ExportTool: Error during export: Export job failed!错误解析

strelizia 2021-08-29 原文

在使用sqoop导出数据的时候出现了这种报错。

20/08/27 15:03:05 ERROR tool.ExportTool: Error during export: 
Export job failed!
	at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439)
	at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931)
	at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80)
	at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99)
	at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
	at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
	at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

sqoop的shell命令是这样的

sqoop export \
--connect jdbc:mysql://cdh00:3306/airquality \
--username root \
--password root \
--table co \
--export-dir hdfs://cdh01:8020/user/hive/warehouse/co \
--input-fields-terminated-by \'\001\' \

这里的错误就是经典的hive和mysql的表结构不对应，有可能你的实际情况和我不一样，但是按照这个思路去检查会很轻松找到你的问题根源。
这个问题是sqoop把你的数据往mysql中塞的时候格式不符，他就会返回这个错误。处理方式首先就应该检查两个表结构是否一致。
hive表结构查询

desc [表名];

在检查后我发现两个表结构是完全一致的，也有可能是hive的分隔符弄错了（–input-fields-terminated-by ‘\001’），检查后也没有问题，hive中确实使用默认的’\001’作为分隔符，那为什么会报错嘞？

除了hive表结构之外，我们再检查一下hive的数据，在hdfs/user/hive/warehouse/co中，可以在linux中hadoop fs -cat /user/hive/warehouse/co查看，为了方便我这里选择在windows中下载查看。
数据节选

201501122002A\N2.105

//我的数据除了前两条是string，后面都是double类型。
可以看到分隔符确实是”\001″，但是double数据中有一个突兀的”\N”。原来是因为hive中的null值默认是按照字符串”\N”存储的，所以在获取数据时出现字符串”\N”，而”\N”是字符串格式不符合double类型导致报错。

这里有两种处理方法，一种是将表结构统一改成varchar类型，但是这样”\N”就按照字符串存入了，不方便处理。所以加上两条参数–input-null-string和–input-null-non-string，在sqoop遇到”\N”后按照null进行插入处理。
修改后的sqoop命令

sqoop export \
--connect jdbc:mysql://cdh00:3306/airquality \
--username root \
--password root \
--table co \
--export-dir hdfs://cdh01:8020/user/hive/warehouse/co \
--input-fields-terminated-by \'\001\' \
--input-null-string \'\\N\' \
--input-null-non-string \'\\N\'