Parallelization of a Backpropagation Neural Network on a Cluster Computer

Parallelization of a Backpropagation Neural Network on a Cluster Computer
Mark Pethick, Michael Liddle, Paul Werstein, andZhiyi Huang
ここ。 さまざまな並列化をサマライズして通信コストを算出。

• セッションそのものをどうせ複数回やるのでそれを分ける。
• サンプルを分割 - jubatus でやってるのはこれ。
• ノード並列 - ニューラルノードを並列に実装。多分意味ない。
• ノード内並列 - ニューラルノード内をさらに並列化。もっと意味ない。

サンプル分割では、同じ初期値から学習を初めて、差分行列を集めてマージ、再分配。元ネタはこれ。

[10] R. Rogers and D. Skillicorn, Strategies for parallelizing supervised and unsupervised learning in artificial
neural networks using the BSP cost model, (Queens University, Kingston, Ontario, Canada, Tech. Rep.,1997).

間隔の設定が難しいと思うのだけど、それはとくに何も書かれていない。