finished with exit code -1073740791 (0xC0000409)解决方案

yh-blog 2019-03-17 原文

在用keras框架跑NER的train时，遇到无错跳出finished with exit code -1073740791 (0xC0000409)，

（有其他博主说的减小batchsize的我试过把batchsize减小为2，但是没有用）

查出是显卡内存不足的问题，解决如下：

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "-1"

——————————————————————————————————————————–分割线————————————————–分割线———————————————————————————————————-

<原理参考>：

keras在使用GPU的时候有个特点，就是默认全部占满显存。这样如果有多个模型都需要使用GPU跑的话，那么限制是很大的，而且对于GPU也是一种浪费。因此在使用keras时需要有意识的设置运行时使用那块显卡，需要使用多少容量。

这方面的设置一般有三种情况：

1.指定显卡 2.限制GPU用量 3.即指定显卡又限制GPU用量

一、指定显卡

import os os.environ["CUDA_VISIBLE_DEVICES"] = "2"

这里指定了使用编号为2的GPU，大家可以根据需要和实际情况来指定使用的GPU

二、限制GPU用量

1、设置使用GPU的百分比

import tensorflow as tf 

import keras.backend.tensorflow_backend as KTF #进行配置，使用30%的GPU 

config = tf.ConfigProto() 

config.gpu_options.per_process_gpu_memory_fraction = 0.3 

session = tf.Session(config=config) # 设置session KTF.set_session(session )

需要注意的是，虽然代码或配置层面设置了对显存占用百分比阈值，但在实际运行中如果达到了这个阈值，程序有需要的话还是会突破这个阈值。换而言之如果跑在一个大数据集上还是会用到更多的显存。以上的显存限制仅仅为了在跑小数据集时避免对显存的浪费而已。

2、GPU按需使用

import tensorflow as tf 

import keras.backend.tensorflow_backend as KTF 

config = tf.ConfigProto() 

config.gpu_options.allow_growth=True #不全部占满显存, 按需分配 

session = tf.Session(config=config) # 设置session KTF.set_session(sess)

三、指定GPU并且限制GPU用量

这个比较简单，就是讲上面两种情况连上即可。。

import os 

import tensorflow as tf 

import keras.backend.tensorflow_backend as KTF # 指定第一块GPU可用 os.environ["CUDA_VISIBLE_DEVICES"] = "0" 

config = tf.ConfigProto() 

config.gpu_options.allow_growth=True #不全部占满显存, 按需分配 

sess = tf.Session(config=config) KTF.set_session(sess)