2013年8月16日金曜日

ZHT: A Light-weight Reliable Persistent Dynamic Scalable Zero-hop Distributed Hash Table

IPDPS 2013
ZHT: A Light-weight Reliable Persistent Dynamic Scalable Zero-hop Distributed Hash Table

- Exa HPCターゲット
- Zero hop distributed hash
- append をサポート
- On Memory
−BlueGene/P 160K coreでも動作

16
13ページ中5ページがマイクロベンチによる評価。

FusionFS という分散ファイルシステムのメタデータサーバとして利用されている。

MATRIXという分散ジョブスケジューリングシステムつかわれている。

処理の差異と順序を考慮した並列コレクション向けJava言語拡張

処理の差異と順序を考慮した並列コレクション向けJava言語拡張    
宗 桜子,佐藤 芳樹,千葉 滋

Swopp2013のHPC

ステンシルの袖領域の特化コードをJavaの並列ライブラリで実行できるように言語拡張するというお話。

部分メソッドディスパッチ - ステンシルのどの部分に対応するのかをメソッドの引数から抽出し、ディスパッチするコードを変更する。一つのシグネチャに対して複数のメソッドを使い分けるイメージ。

precedes で複数のメソッドの実行順序を制御する。なんかうまく決定できない状況をかけちゃいそうな気もする(順番のループとか)。グラフ解析ライブラリで決定すると言っているので、検出して実行時に停止するのかな?

評価とかはまだない。実装中?

かなりアプリに特化した印象。それもいいのかな。


2013年6月4日火曜日

情報処理学会 第94回プログラミング研究発表会

日帰りで初日のみ参加。

6月3日(月)

セッション1:13:00-15:15

  2013-1-(1):13:00 - 13:45
   「シェル文法の拡張可能な自己文法拡張スクリプト言語」
    ○松村 哲郎,志田 駿介,若森 拓馬,井出 真広,倉光 君郎(横浜国立大)

  konoha。DSL内に任意の文法を記述できるようにパーサを拡張可能に。
  シェルの文法をkonohaスクリプトに埋め込むことを可能にしている。
  個人的にはそこまでしてDSLで頑張ることの意味がわからない。
  特にシェルのようにいい加減でそれ自身特によくできてないものを
  わざわざ頑張るのはなんか無駄な気がする。
  2013-1-(2):13:45 - 14:30
   「Mindstorms NXTを対象としたスクリプト処理系のコンパクト化」
    ○志田 駿介,井出 真広(横浜国立大),菅谷 みどり(芝浦工大),倉光 君郎(横浜国立大)
  これもkonoha。 Mindstorms NXTを用いてライントレースを実行できるように、
  konohaを最小化して搭載。基本的にはコンパイラを外に出すこと、バイトコードのバイト長を
  小さくすることがポイント。
  2013-1-(3):14:30 - 15:15
   「OTCデリバティブ商品定義を目的としたドメイン特化言語の開発と評価」
    ○松本 吉史((株)電通国際情報サービス),久野 靖(筑波大)
   OTCデリバティブを対象としたDSL。自動的にJavaプログラムへ変換される。
   評価をアンケートで行なっている。
   

15:15 - 15:25:休憩

セッション2:15:25-17:40

  2013-1-(4):15:25 - 16:10
   「Aspect Interfaces: Towards Separate Type-checking of Aspect-oriented Programs with Inter-type Declarations」
    ○当山 学(東京大),青谷 知幸(東工大),Eric Bodden(Technische Universitaet Darmstadt),増原 英彦(東工大),Eric Tanter(Universidad de Chile)

  AspectJでは、Inter type declarationを使うと、
  メインのプログラムとアスペクトを分割してコンパイルすることができない。
  本質的にはアスペクトで挿入されるメソッドの型がわからないから。
  なので、挿入されるメソッドの型を別途定義することで分割コンパイルを可能にする、
  というはなし。まだ、インターフェイスを定義しただけでコンパイラはない。
  基本的に後から何かが入ってくることを予め書いておく、という話になっているようで、
  それだと本質的にaspectのコンセプトと違うんじゃないか。
  2013-1-(5):16:10 - 16:55
   「ライトバリアを応用した不揮発性メインメモリへの書き込み抑制手法の提案」
    ○中川 岳,追川 修一(筑波大)

  ライトバリアを用いて特定の領域への書き込み特性を把握し、それを用いて書き込みを
  抑制する。
  DRAMと不揮発性メモリに


  2013-1-(6):16:55 - 17:40
   「演算子生成器を介した木上のスケルトン並列プログラミング」
    ○佐藤 重幸(電通大),松崎 公紀(高知工科大)

2013年4月22日月曜日

Parallelization of a Backpropagation Neural Network on a Cluster Computer

Parallelization of a Backpropagation Neural Network on a Cluster Computer
Mark Pethick, Michael Liddle, Paul Werstein, andZhiyi Huang
ここ。 さまざまな並列化をサマライズして通信コストを算出。
  • セッションそのものをどうせ複数回やるのでそれを分ける。
  • サンプルを分割 - jubatus でやってるのはこれ。
  • ノード並列 - ニューラルノードを並列に実装。多分意味ない。
  • ノード内並列 - ニューラルノード内をさらに並列化。もっと意味ない。
サンプル分割では、同じ初期値から学習を初めて、差分行列を集めてマージ、再分配。元ネタはこれ。
[10] R. Rogers and D. Skillicorn, Strategies for parallelizing supervised and unsupervised learning in artificial
neural networks using the BSP cost model, (Queens University, Kingston, Ontario, Canada, Tech. Rep.,1997).
間隔の設定が難しいと思うのだけど、それはとくに何も書かれていない。

2012年7月19日木曜日

CIRCUMFLEX

CIRCUMFLEX: a scheduling optimizer for MapReduce workloads with shared scans Joel Wolf, Andrey Balmin, Deepak Rajan, Kirsten Hildrum, Rohit Khandekar, Sujay Parekh, Kun-Lung Wu, Rares Vernica ACM SIGOPS Operating Systems Review Volume 46 Issue 1, January 2012, Pages: 26-32

比較的少量のデータに対して大量のジョブが投入される場合、つまり、複数のジョブがデータを共有する可能性が高い場合には、Mapフェイズでのデータスキャンを複数のジョブで共有することで、スループットを向上することが可能になる。 シミュレーションで評価しているようだ。

2012年6月21日木曜日

HPDC'12 MapReduce

Understanding the Effects and Implications of Compute Node Related Failures in Hadoop
    Florin Dinu, T. S. Eugene Ng (Rice University)

Hadoopのヘッドノードが落ちた時(メンテ時含む)に、計算へのダメージを最小化したいので
解析したという話。randomにfailure injectionして、どのような挙動を示すかを観測。
対策したというはなしではない。

Optimizing MapReduce for GPUs with Effective Shared Memory Usage
    Linchuan Chen, Gagan Agrawal (The Ohio State University)

1ノードでGPUでMapReduceをする場合の最適化。
ReductionをMapPhaseの終わりでeagerに行う最適化。
たしかphoenix+も同じようなことをしていたような。

CAM: A Topology Aware Minimum Cost Flow Based Resource Manager for MapReduce Applications in the Cloud
    Min Li (Virginia Tech), Dinesh Subhraveti (IBM Almaden Research Center), 
    Ali Butt (Virginia Tech), Aleksandr Khasymski (Virginia Tech), 
    Prasenjit Sarkar (IBM Almaden Research Center)

仮想環境ではノードの位置が隠蔽されるので、アロケーションの最適化が難しい。
CAMは仮想環境を管理するシステムで、仮想環境内のMapReduceシステムに
最適化のためのAPIを提供する。例えば、VM間の実際の距離など。

Distributed Approximate Spectral Clustering for Large-Scale Datasets
    Fei Gao (Simon Fraser University), Wael Abd-Almageed (University of Maryland), 
    Mohamed Hefeeda (Qatar Computing Research Institute)

SVMなどで用いられるカーネル計算を概算で行う方法を提案。
MapReduceで実装。Locality Sensitive Hashingというのを使って
一種のクラスタリングを行っているようだ。

2012年6月20日水曜日

HPDC2012 セッション3 I/O

Enabling Event Tracing at Leadership-Class Scale through I/O Forwarding Middleware
       Thomas Ilsche (Technische Universität Dresden),... Stephen Poole (Oak Ridge National Laboratory)

ログをアグリゲートして、dedupしてサイズを減らす。少数のIOFSL Serverに送って書きだす。
bart miller のMRnetシステムのほうがはるかに洗練されているのではないか。
ISOBAR Hybrid Compression-I/O Interleaving for Large-scale Parallel I/O Optimization
       Eric R. Schendel, ... Nagiza F. Samatova (North Carolina State University)

IOを減らすためにcompressしたいのだけど、それ自体にコストがかかる。
計算とcompress処理をinterleaveすることでバランスを取る。


QBox: Guaranteeing I/O Performance on Black Box Storage Systems
      Dimitris Skourtis, Shinpei Kato, Scott Brandt (University of California, Santa Cruz)

ストレージをブラックボックスとして外部から制御することで、I/O性能をある程度保証する。
Towards Efficient Live Migration of I/O Intensive Workloads: A Transparent Storage Transfer Propo
 Bogdan Nicolae (INRIA), Franck Cappello (INRIA/UIUC)

I/Oインテンシブジョブをストレージごとマイグレートする。
メモリマイグレーションのバックグラウンドでストレージのマイグレートをすすめておき、
ポストコピー的な動作に自動的に移行する。
書き込まれているブロックはプレコピーをしないでおいて、ポストコピーに任せる。