如何将multithreading应用于反向传播神经网络训练？
对于我的大学项目，我正在创建一个神经网络，可以对信用卡交易是否具有欺诈性的可能性进行分类。 我正在接受反向传播训练。 我用Java写这个。 我想应用multithreading，因为我的电脑是四核i7。 这让我花了几个小时的训练，看到我的大部分核心闲置。
但是，我如何将multithreading应用于反向传播？ Backprop通过网络向后调整错误来工作。 必须先完成一层，然后才能继续。 有什么方法可以修改我的程序来做多核背景吗？
首先不要使用反向传播。 还有很多其他选择。 我建议尝试RPROP（弹性传播）。 对你的反向传播算法来说，这不会有太大的修改。 您无需指定学习率或动力。 它几乎就像你对神经网络中的每个连接都有一个单独的，可变的学习率。
至于将multithreading应用于反向传播。 我刚刚写了一篇关于这个主题的文章。
http://www.heatonresearch.com/encog/mprop/compare.html
基本上我创建了一些线程并分割训练数据，因此每个线程的数量几乎相等。 我正在计算每个线程中的渐变，并在reduce步骤中求和。 如何将梯度应用于权重取决于所使用的传播训练算法，但是权重更新是在关键部分中完成的。
当您拥有比权重更多的训练样本时，代码在multithreading渐变计算中花费的时间远远超过临界区域权重更新。
我在上面的链接中提供了一些性能结果。 它确实加快了速度！
要在Java中使用更多CPU内核，您可以在不更改代码的情况下为JVM尝试更多选项：
- -服务器
- -d64
- -XX：-UseParallelGC
以及http://java.sun.com/javase/technologies/hotspot/vmoptions.jsp上的其他选项