2013年4月22日月曜日

Parallelization of a Backpropagation Neural Network on a Cluster Computer

Parallelization of a Backpropagation Neural Network on a Cluster Computer
Mark Pethick, Michael Liddle, Paul Werstein, andZhiyi Huang
ここ。 さまざまな並列化をサマライズして通信コストを算出。
  • セッションそのものをどうせ複数回やるのでそれを分ける。
  • サンプルを分割 - jubatus でやってるのはこれ。
  • ノード並列 - ニューラルノードを並列に実装。多分意味ない。
  • ノード内並列 - ニューラルノード内をさらに並列化。もっと意味ない。
サンプル分割では、同じ初期値から学習を初めて、差分行列を集めてマージ、再分配。元ネタはこれ。
[10] R. Rogers and D. Skillicorn, Strategies for parallelizing supervised and unsupervised learning in artificial
neural networks using the BSP cost model, (Queens University, Kingston, Ontario, Canada, Tech. Rep.,1997).
間隔の設定が難しいと思うのだけど、それはとくに何も書かれていない。