2016年11月4日金曜日

MAD Skills: New Analysis Practices for Big Data

  • VLDB09
  • Greenplum と UCB
  • さまざまな機械学習アルゴリズムが並列DB上で実装可能だということを述べている
  • 実装は無い
  • MAD は Magnetic, Agile, Deep。
    • Magnetic は何でもかんでも引きつける、ぐらいの意味で、データを選別せずになんでも入れるというぐらいのニュアンスか？
    • Deep はDeep Learningとは関係なく、深い解析、ぐらいの意味だろう。
  • MADという言葉はまったく流行らなかったが、中身は大変今日的で、Spark SQLやHiveMallなどで実現されている、という位置づけになるのか。
​
投稿者 時刻: 0 件のコメント:
ラベル: ,

2016年10月20日木曜日

PFA : Portable format for Analytics

  • データ解析において、初期のexploration に使うツールとdeploymentに使うツールに求められる性質は大きく異る。前者を本番環境で使うとだいたい酷い目に遭う。
  • 前者と後者の間に共通のフォーマットを定義して、移行をスムースにする。前者が吐いたPFAを後者で読み込んで利用することをおそらく想定している。
  • PMML というXMLベースのものが以前は存在したが、それよりは柔軟であると主張している。
  • JSONで表現されているが、基本的にはオペレーショナルな言語で、ターゲット環境では別の言語に変換された上で実行されるのだろう。
  • やりたいことは理解できるが、この手のinteroperationを実現するツールは、さまざまなツールの最大公約数的な機能しかサポートされず、結局あんまり使われない、というオチをあちこちで見たような。うまくいくんだろうか。
​
投稿者 時刻: 0 件のコメント:

2016年10月10日月曜日

Playing Atari with Deep Reinforcement Learning

Playing Atari with Deep Reinforcement Learning

http://www.iclr.cc/lib/exe/fetch.php?media=iclr2015:silver-iclr2015.pdf

DeepMind。ゲームをNNでやるという話。
  • ATARI 2600のゲーム7種に適用。同一ネットワーク。ハイパーパラメータも同じ。
  • CNNをQ-learningの一種でtrain
  • 入力はピクセルで、出力は将来の報酬を予測する関数。
  • End-to-End で学習。つまり、ピクセルの認識とゲームのルールに対する学習を一度に行う。(たぶんLISは違う。)
  • ネットワークは5層程度。サイズも小さいし、深くもない。
  • 入力はピクセル、出力は各アクションに対する報酬の予測値？
  • 入力画像を白黒4ビット化して処理している。これは相当不利な条件のはずだが遜色ない性能を得ているとのこと。
  • 100万フレームとか食わせている。おそろしい。
​
投稿者 時刻: 0 件のコメント:

2016年10月6日木曜日

Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning

- https://arxiv.org/abs/1605.08104
- Havard
- 正味シングルカラムで 8ページしかない。 図版、referenceをいれて12ページ
- ビデオデータから未来を予測するという形で、教師なし学習
- 2方向にローテーションする顔や、ドライブデータで評価していて、非常にうまく言っているように見える。
- ネットワークは以外に単純。予測誤差を予測する、と言うかたちでカスケードしていく。個々のネットワークにLSTMが入っている。



投稿者 時刻: 0 件のコメント:

2016年10月2日日曜日

Building High-level Features Using Large Scale Unsupervised Learning,


```Building High-level Features Using Large Scale Unsupervised Learning,
Quoc V. Le, Marc’Aurelio Ranzato, Rajat Monga, Matthieu Devin, Kai Chen, Greg S. Corrado, Jeffrey Dean, and Andrew Y. Ng, CML 2012: 29th International Conference on Machine Learning, June, 2012.```

猫の概念を自動的に学習した、ということで有名になったあれ。


- 9-layer sparse autoencoder。局所受容野は入っている。
- 10M 枚の200x200ピクセルイメージ
- 1,000 台 16,000 コアで 3日学習
- 非同期SDG
投稿者 時刻: 0 件のコメント:
ラベル:

2016年2月7日日曜日

Bitcoin: A Peer-to-Peer Electronic Cash System

シングルカラムでわずか9ページしかない。簡潔。
  • Timestamp Server がアイデアのもと？t時点のデータをt+1時点のデータのハッシュに組み込むことで、t のデータがt-1よりも先行していることを保証する。Timestamp server では、ハッシュをUsenetに投稿するなどする。
  • Hashのchainが最長のものが真のchainである、というアイディアが本質なのだろうか。
  • Mining と ネットワークの維持が一体化している点も巧み。
仕掛けはなんとなく理解できたが、いろいろわからない。
  • Transaction が世間的に認められるには、そのTransaction がふくまれた後続Transactionができたことを確認しないといけないように思うのだけど、それにはある程度の計算が必要で10分ぐらいかかりそう。運用としてどうなってるんだろう。
  • この種のものが信用されるには初期にある程度のサーバが参加していなければならなさそうだが、それをどうやって実現したのか。
​
投稿者 時刻: 0 件のコメント:
登録: 投稿 (Atom)