CIRCUMFLEX: a scheduling optimizer for MapReduce workloads with shared scans
Joel Wolf, Andrey Balmin, Deepak Rajan, Kirsten Hildrum, Rohit Khandekar, Sujay Parekh, Kun-Lung Wu, Rares Vernica
ACM SIGOPS Operating Systems Review Volume 46 Issue 1, January 2012, Pages: 26-32
比較的少量のデータに対して大量のジョブが投入される場合、つまり、複数のジョブがデータを共有する可能性が高い場合には、Mapフェイズでのデータスキャンを複数のジョブで共有することで、スループットを向上することが可能になる。
シミュレーションで評価しているようだ。
0 件のコメント:
コメントを投稿