cloudera manager 页面启动nodemanager失败，后端没有启动 8040

nodemanager异常失败后，cloudera manager页面启动nodemanager失败，后端没有启动8040。
问题分析：查看日志hadoop-cmf-yarn-NODEMANAGER-IT-CDH-Node36.log.out 发现

进程OOM，8042端口注册不上！ nodemanager启动就会recovering application。
清理失败app缓存：
rm -rf /data*/yarn/nm/usercache/*
rm -rf /var/lib/hadoop-yarn/yarn-nm-recovery/*
删除cache之后 重启nodemanager正常。
问题分析：
1、由于这台机器上跑大任务，导致内存不足，报警写到/tmp目录下，产生很多大文件，进而导致磁盘不足！
2、nm重启会去cache里面 recovering任务，但是这些任务已经过时导致一直起不来，解决办法就是删除这些cache！！！