spark任务在执行期间，有时候会遇到临时目录创建失败，导致任务执行错误。

  1. java.io.IOException: Failed to create local dir in ……
  1. spark创建临时文件机制
    spark作为并行计算框架，同一个作业会被划分为多个任务在多个节点执行，reduce的输入可能存在于多个节点，因此需要shuffle将所有reduce的输入汇总起来；而shuffle时需要通过diskBlockManage将map结果写入本地，优先写入memory store，在memore store空间不足时会创建临时文件。
  2. 临时文件夹配置
    memory store的大小取决于spark.excutor.memory参数，默认为spark.excutor.memory*0.6；可通过spark.env中添加配置SPARK_LOCAL_DIRS或程序中设定spark.local.dir，可配置多个路径，逗号分隔增强io效率。
  1.     SPARK_LOCAL_DIRS:
  2.     Directory to use for "scratch" space in Spark, including map output files and RDDs that get stored on disk. 
  3.     This should be on a fast, local disk in your system. It can also be a comma-separated list of multiple  directories on different disks.

常见原因包括：临时目录文件过多导致，当一个spark任务执行失败时，之前创建的临时文件不会被删除，就会残留下来。主要排查手段就是进入临时目录，查看下临时目录当前状况，手动创建是否ok。

  1. 磁盘空间问题。
    排查：磁盘空间不足，或者磁盘掉载；通过df -h、du -sh或者fdisk查询磁盘空间。
    解决：删除旧文件释放空间；或者挂载新盘。
  2. 目录权限不对。
    排查：进入spark.local.dir临时目录，查询权限。
    解决：修改成正确权限。

  3. 临时目录文件过多。
    在spark.local.dir手动创建临时目录时，报错Too many links……，
    排查：查询文件目录下是否文件/目录个数超限，ll | wc -l
    解决：删除旧文件释放空间；或者挂载新盘。

    1. linux ext2/ext3单个目录下子目录+文件个数不能超过32000，除去默认子目录`当前目录(.)`和`上级目录(..)`之外，一个目录下最多能创建31998个（子目录+文件）。而ext4系统无此限制。可以通过命令`df -lhT`查询。
    2. include/linux/ext2_fs.h:#define EXT2_LINK_MAX           32000
    3. include/linux/ext3_fs.h:#define EXT3_LINK_MAX           32000

  4. inode资源不足
    排查：查询磁盘inode资源使用，df -i
    解决：删除旧文件释放空间；或者挂载新盘。

版权声明：本文为HopkinsCybn原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/HopkinsCybn/p/10087336.html