本发明实施例提供了一种深度神经网络训练方法,其包括：S1、对神经网络中预设的第一参数进行设定；S2、启动训练神经网络；S3、获取深度神经网络训练中更新的第二参数；S4、对更新的第二参数是否满足预设条件进行判断：若是,则实施预设的批量大小下降措施,并计算出当前的批量大小；若否,则继续训练神经网络,并计算出当前的批量大小；S5、根据计算出的当前的批量大小继续完成当前回合的训练神经网络；S6、执行S3至S5,直至训练神经网络结束。本发明实施例还提供了一种深度神经网络训练装置、深度神经网络训练设备和计算机可读存储介质。采用本发明的技术方案可以调整噪声、提升泛化能力并所需的硬件资源少。