ラベル ストリーミング の投稿を表示しています。 すべての投稿を表示
ラベル ストリーミング の投稿を表示しています。 すべての投稿を表示

2014年7月16日水曜日

DBToaster: Higher-order Delta Processing for Dynamic, Frequently Fresh Views

DBToaster: Higher-order Delta Processing for Dynamic, Frequently Fresh Views

Yanif Ahmad, Oliver Kennedy, Christoph Koch, Milos Nikolic,

Peoc. of VLDB 2012 pp.968-979, 2012
  • DBアクセスを高速化する方法としてview を構築しておく方法がある。
  • しかし、頻繁に書き換えられるDBではviewの書き換えが多発する。
  • これをIncremental にやることで解決する。
  • 具体的には差分を意味するΔview も持っておき、データ入力でこのΔを変更する。
    そしてΔを使って元のviewを変更する、というように再帰的にやるらしい。
  • ストリームシステムSPYよりも圧倒的に速いという結果。というかこのSPYは
    妙に遅い??
​

2014年7月6日日曜日

apache S4

論文

  • S4: Distributed Stream Computing Platform
    Leonardo Neumeyer, Bruce Robbins, Anish Nair, Anand Kesari
    Proceedings of the 2010 IEEE International Conference on Data Mining Workshops, Pages 170-177, 2010
  • Performance Evaluation of Yahoo! S4: A First Look
    Chauhan, J; Chowdhury, S.A. ; Makaroff, D.
    Proc of .P2P, Parallel, Grid, Cloud and Internet Computing (3PGCIC), 2012 Seventh International Conference on
    pp. 58-65, 2012

所感

  • 2010年にYahooが発表したフレームワーク。その後apacheに移管されたが、あまり話を聞かない。
  • ストリーム処理を連続したイベントの処理として考え、イベントをノードが投げ合う。イベントを受け取ったノードはイベントを作成して送出する。
  • KVペアをベースにキーで分散先を指定して投げつけるというつくり。キーが同一であれば一つのノードに行くはずなので、そこで集計処理ができる。つまりシャッフル相当のことがこれで実現できている。なので基本的にはMapReduce ができる。
  • ただし一つのキーに対するreduce 的処理を分散して実行する事はできない。これはHadoopでも一緒だが。
  • そもそも、統計的に処理をすることを前提としているので、イベントを落とすことをなんとも思っていない。負荷が上がるとどんどん落とすつくり。まあ、それでいい場合も多かろう。
  • 2010年に論文を読んだ時の印象としては、かなりプリミティブで負荷分散とかうまくいかないだろうなあ、というかんじだった。性能もなかなかくるしそう。FTについてもあまリ考えていないのかなと。
  • 2つめの論文は評価論文。でも台数も少ないし、ワークロードもスタティックでデータのロスレートを見るというぐらいであまリ参考にならない。
​

2014年7月4日金曜日

MillWheel: Fault-Tolerant Stream Processing at Internet Scale

MillWheel: Fault-Tolerant Stream Processing at Internet Scale

SaTyler Akidau, Alex Balikov, Kaya Bekiroglu,Slava Chernyak, Josh Haberman, Reuven Lax,Sam McVeety, Daniel Mills, Paul Nordstrom, Sam Whittle
Proc. of Very Large Data Bases 2013, pages 734-746
Googleの イベントストリームプロセッサ。やっていることはよくあるもので、パイプラインと計算ノードを定義してやって、そこにイベントを流してやって処理するというものなのだが、自動負荷分散したり、永続ストレージを持っていたりと芸が細かい。
- exactly once セマンティクスをサポート。背後に持っているストレージに書き込むことで、2重に実行しないようにしている。さらっと書いてあるけど相当な難しいことである。さらに、それでもレイテンシが数十ミリ以内に収まっているのも驚き。。

- 論文のサンプルからはC++で書かれているように見える。




​