目的：运行Atlas并使用Azkaban执行操作任务

环境：Centos 6 内存大小：12G 启动下面的任务后还剩内存将近5G

问题： 当mysql_to_hdfs_db和其他job同时运行时集群很容易就会报错

　　Cannot create GC thread. Out of system resources. 

　　OOM等奇怪的错误。

　　最重要的是极端情况下会报错：-bash: fork: retry: 资源暂时不可用

原因：修改前非root用户max user processes 只有1024

解决方案：

　　sudo vim /etc/security/limits.d/90-nproc.conf  ，将nproc修改为65535并重新启动计算机

　  

 

 

启动的任务：1. hadoop 集群

　　　　　　　2. Zookeeper

　　　　　　　3. Kafka

　　　　　　　4. Hbase

　　　　　　　5. Solr

　　　　　　　6. Hive

　　　　　　　7. Azkaban

　　　　　　　8. Atals 

 

 

 mysql_to_hdfs_db使用sqoop想HDSF中导数据，占用资源比较多。

版权声明：本文为mskf-bolgs原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/mskf-bolgs/p/12716105.html