2012年7月19日木曜日

CIRCUMFLEX

CIRCUMFLEX: a scheduling optimizer for MapReduce workloads with shared scans Joel Wolf, Andrey Balmin, Deepak Rajan, Kirsten Hildrum, Rohit Khandekar, Sujay Parekh, Kun-Lung Wu, Rares Vernica ACM SIGOPS Operating Systems Review Volume 46 Issue 1, January 2012, Pages: 26-32

比較的少量のデータに対して大量のジョブが投入される場合、つまり、複数のジョブがデータを共有する可能性が高い場合には、Mapフェイズでのデータスキャンを複数のジョブで共有することで、スループットを向上することが可能になる。 シミュレーションで評価しているようだ。