Understanding the Effects and Implications of Compute Node Related Failures in Hadoop Florin Dinu, T. S. Eugene Ng (Rice University) Hadoopのヘッドノードが落ちた時(メンテ時含む)に、計算へのダメージを最小化したいので 解析したという話。randomにfailure injectionして、どのような挙動を示すかを観測。 対策したというはなしではない。 Optimizing MapReduce for GPUs with Effective Shared Memory Usage Linchuan Chen, Gagan Agrawal (The Ohio State University) 1ノードでGPUでMapReduceをする場合の最適化。 ReductionをMapPhaseの終わりでeagerに行う最適化。 たしかphoenix+も同じようなことをしていたような。 CAM: A Topology Aware Minimum Cost Flow Based Resource Manager for MapReduce Applications in the Cloud Min Li (Virginia Tech), Dinesh Subhraveti (IBM Almaden Research Center), Ali Butt (Virginia Tech), Aleksandr Khasymski (Virginia Tech), Prasenjit Sarkar (IBM Almaden Research Center) 仮想環境ではノードの位置が隠蔽されるので、アロケーションの最適化が難しい。 CAMは仮想環境を管理するシステムで、仮想環境内のMapReduceシステムに 最適化のためのAPIを提供する。例えば、VM間の実際の距離など。 Distributed Approximate Spectral Clustering for Large-Scale Datasets Fei Gao (Simon Fraser University), Wael Abd-Almageed (University of Maryland), Mohamed Hefeeda (Qatar Computing Research Institute) SVMなどで用いられるカーネル計算を概算で行う方法を提案。 MapReduceで実装。Locality Sensitive Hashingというのを使って 一種のクラスタリングを行っているようだ。
2012年6月21日木曜日
HPDC'12 MapReduce
登録:
コメントの投稿 (Atom)
0 件のコメント:
コメントを投稿