Playing Atari with Deep Reinforcement Learning

Playing Atari with Deep Reinforcement Learning

https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf

http://www.iclr.cc/lib/exe/fetch.php?media=iclr2015:silver-iclr2015.pdf

DeepMind。ゲームをNNでやるという話。

• ATARI 2600のゲーム7種に適用。同一ネットワーク。ハイパーパラメータも同じ。
• CNNをQ-learningの一種でtrain
• 入力はピクセルで、出力は将来の報酬を予測する関数。
• End-to-End で学習。つまり、ピクセルの認識とゲームのルールに対する学習を一度に行う。(たぶんLISは違う。)
• ネットワークは5層程度。サイズも小さいし、深くもない。
• 入力はピクセル、出力は各アクションに対する報酬の予測値？
• 入力画像を白黒4ビット化して処理している。これは相当不利な条件のはずだが遜色ない性能を得ているとのこと。
• 100万フレームとか食わせている。おそろしい。

​

Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning

- https://arxiv.org/abs/1605.08104
- Havard
- 正味シングルカラムで 8ページしかない。 図版、referenceをいれて12ページ
- ビデオデータから未来を予測するという形で、教師なし学習
- 2方向にローテーションする顔や、ドライブデータで評価していて、非常にうまく言っているように見える。
- ネットワークは以外に単純。予測誤差を予測する、と言うかたちでカスケードしていく。個々のネットワークにLSTMが入っている。

Building High-level Features Using Large Scale Unsupervised Learning,

```Building High-level Features Using Large Scale Unsupervised Learning,
Quoc V. Le, Marc’Aurelio Ranzato, Rajat Monga, Matthieu Devin, Kai Chen, Greg S. Corrado, Jeffrey Dean, and Andrew Y. Ng, CML 2012: 29th International Conference on Machine Learning, June, 2012.```

猫の概念を自動的に学習した、ということで有名になったあれ。


- 9-layer sparse autoencoder。局所受容野は入っている。
- 10M 枚の200x200ピクセルイメージ
- 1,000 台 16,000 コアで 3日学習
- 非同期SDG

Bitcoin: A Peer-to-Peer Electronic Cash System

• Satoshi Nakamoto
• https://bitcoin.org/bitcoin.pdf

シングルカラムでわずか9ページしかない。簡潔。

• Timestamp Server がアイデアのもと？t時点のデータをt+1時点のデータのハッシュに組み込むことで、t のデータがt-1よりも先行していることを保証する。Timestamp server では、ハッシュをUsenetに投稿するなどする。
• Hashのchainが最長のものが真のchainである、というアイディアが本質なのだろうか。
• Mining と ネットワークの維持が一体化している点も巧み。

仕掛けはなんとなく理解できたが、いろいろわからない。

• Transaction が世間的に認められるには、そのTransaction がふくまれた後続Transactionができたことを確認しないといけないように思うのだけど、それにはある程度の計算が必要で10分ぐらいかかりそう。運用としてどうなってるんだろう。
• この種のものが信用されるには初期にある程度のサーバが参加していなければならなさそうだが、それをどうやって実現したのか。

​

DIANNE: Distributed Artificial Neural Networks for the Internet of Things

http://dl.acm.org/citation.cfm?id=2836130

DLフレームワーク。パイプラインのステージを別のデバイスに実装することができる。OSGi をベースにしたAIOLOS上に実装ということなので、Javaらしい。JNIでCUDAを呼び出す。ラズパイやエジソンで動かしている。

レイテンシ重視なのでミニバッチしないらしい。ミニバッチしなくて、GPGPUの性能が出るのかと思うけど、とりあえずでているようだ。不思議。

Optimizing Shuffle Performance in Spark

Optimizing Shuffle Performance in Spark

- [http://www.cs.berkeley.edu/~kubitron/courses/cs262a-F13/projects/reports/project16_report.pdf]

- Spark では相対的にMapとReduceが高速化されるので、shuffleがボトルネックになる。

- shffuleの対策として、mapの出力を圧縮する方法があり、他のDBでうまく言っているカラム単位で圧縮するのを試してみたがうまく行かなかった。

- ファイルの数がMapper 数 x Reducer数になっているのが問題と考え、同じコア上で動作するMapperの出力は同じファイルにするようにしたら速くなった。

論文ではなくてレポート？

圧縮センシングの数理

圧縮センシングの数理

• 田中 利幸 - [https://www.jstage.jst.go.jp/article/essfr/4/1/4_1_39/_pdf]
  解説論文。圧縮センシングとは、スパースなベクタを限定的な観測を繰り返した結果から類推する という問題。1-ノルムを用いることで線形計画問題に持ち込む？凸なので簡単？

​