ラベル 分散ファイルシステム の投稿を表示しています。 すべての投稿を表示
ラベル 分散ファイルシステム の投稿を表示しています。 すべての投稿を表示

2014年7月10日木曜日

Presto SQL Engine

Hadoop Conference Japan 2014 のTD古橋さんによるPrestoのお話

参加するつもりだったのだけど、変な会議のせいで参加できなかったhadoop conferenceでの講演資料がアップされていた。ありがとうございます
  • SQLエンジン。HDFSに対して処理を行うだけでなく他のSQL的にアクセスできる
    DBに対するラッパとしても機能する。
  • アーキテクチャとしては、複数のWorkerをCoordinator が束ねる。CoordinatorはリクエストのSQLを解析してプランニングを行い、個々のWorkerに行なうべき動作を指示する。Workerはコネクタプラグインを介して、バックエンドのDBにアクセスする。
  • workerでの処理はオンメモリ。メモリに乗らないものは扱えない。
  • プラグイン
    • Javaでかく
    • Hive,Cassandra, JDBCがすでに用意されている。
    • SchemeとRow を提供する機能があればよい。
  • Prestogres
    • PrestoのフロントエンドはSQLになっているのだが、ここにアクセスさせる
      アダプタを書くのが面倒
    • Postgresqlをフロントエンドに持つことで、アダプタ実装を回避。
    • 枯れたPostgresql用のアダプタでアクセスできる。
​

2014年1月5日日曜日

ページキャッシュ最適化手法におけるベイズ的アプローチの検討

OS-126
ページキャッシュ最適化手法におけるベイズ的アプローチの検討
高橋 一志, 佐々木 慎, 松宮 遼, 大山 恵弘
笹田さんのところにいた高橋さんが大山さんのところに行ってやってる仕事。 分散ファイルシステムを効率的に運用するためには、環境内の他ノードに存在する オンメモリのキャッシュを効率よく利用するが必須であるとし、 そのために、ベイズ統計の利用を提案している。

ちゃんと読めていないが、結局各ブロックデータにコンテントハッシュでIDを振り、 個々のブロックへのアクセスのトレースを取って、各ブロックへのアクセス頻度を 抽出。で、その頻度間の距離の遠近で最も近い所にキャッシュを探しに行く、ということか? 特定のブロックのリードがサイコロと同じように相互に独立だ、という過程はかなり 無理があるように思うがどうなんだろうか。

実験結果を見てもまったく思ったとおりに動いていないようだが。。