Presto SQL Engine

Hadoop Conference Japan 2014 のTD古橋さんによるPrestoのお話

参加するつもりだったのだけど、変な会議のせいで参加できなかったhadoop conferenceでの講演資料がアップされていた。ありがとうございます

• SQLエンジン。HDFSに対して処理を行うだけでなく他のSQL的にアクセスできる
  DBに対するラッパとしても機能する。
• アーキテクチャとしては、複数のWorkerをCoordinator が束ねる。CoordinatorはリクエストのSQLを解析してプランニングを行い、個々のWorkerに行なうべき動作を指示する。Workerはコネクタプラグインを介して、バックエンドのDBにアクセスする。
• workerでの処理はオンメモリ。メモリに乗らないものは扱えない。
• プラグイン
  • Javaでかく
  • Hive,Cassandra, JDBCがすでに用意されている。
  • SchemeとRow を提供する機能があればよい。
• Prestogres
  • PrestoのフロントエンドはSQLになっているのだが、ここにアクセスさせる
    アダプタを書くのが面倒
  • Postgresqlをフロントエンドに持つことで、アダプタ実装を回避。
  • 枯れたPostgresql用のアダプタでアクセスできる。

Presto - Hadoop Conference Japan 2014 from Sadayuki Furuhashi

​