Scalable Massively Parallel I/O to Task-Local Files Authors: Wolfgang Frings (Juelich Supercomputing Centre) Felix Wolf (Juelich Supercomputing Centre) Ventsislav Petkov (Technical University Munich) SC09並列ジョブが,パラレルファイルシステムにガンガンファイルを作ると,メタデータサーバがボトルネックになる.ので,パラレルファイルシステムの手前に,SIONlibという層をもうけて,一つの巨大なファイルを仮想的に複数のファイルにみせることで,メタデータサーバの負荷を低減する.後ろ向き.
2009年11月24日火曜日
Scalable Massively Parallel I/O to Task-Local Files
GreenCloud: A New Architecture for Green Data Center
GreenCloud: A New Architecture for Green Data Center Liang Liu, Hao Wang, Xue Liu, Xing Jin, WenBo He, QingBo Wang, Ying Chen IBM China Research Laboratory, McGill University, University of New Mexico International Conference on Autonomic Computing archive Proceedings of the 6th international conference industry session on Autonomic computing and communicationsマイグレーションを使って,省電力.マイグレーションは,ヒューリスティクスで制御.ヒューリスティクスは,評価関数を作って解空間を探索.探索はすごく遅いように見えるが,最適近傍解は300msで得られていると主張. 先進的ではあったのかもしれないが,技術的には特に見るべき点はないような.
2009年9月15日火曜日
Cloud Computing and Grid Computing 360-Degree Compared
Cloud Computing and Grid Computing 360-Degree Compared I Foster, Yong Zhao, I Raicu, S Lu Grid Computing Environments Workshop, 2008. GCE '08 (2008) Pages: 1-10Ian のペーパ.Ianのクラウドの定義.
A large-scale distributed computing paradigm that is driven by economies of scale, in which a pool of abstracted, virtualized, dynamically-scalable, managed computing power, storage, platforms, and services are delivered on demand to external customers over the Internet.CloudのGridとの相違点の一つとして,インターオペラビリティの欠如を指摘している.
2009年9月2日水曜日
グリッド協議会ワークショップ@蒲田
27回ワークショップが蒲田の富士通ソリューションスクエアで行われた.駅の南西に位置する,ちょっとバブリーな建物.汐留の本社もすごいが.
基調講演 「クラウドによるデータセンタビジネス」 富士通株式会社 佐川 千世己富士通クラウドの話.一度岸本さんの話を聞いているのであまり面白くなかった.
市場動向 「データセンタ市場の動向」 株式会社野村総合研究所 桑津 浩太郎非常におもしろかった.日本のデータセンターは優秀な人材を貼付けることになっているので,田舎には作れない,とか.クラウド系のDCとは発想が違う.結局都心回帰なんだそうな.今後は,高品質な物は都心で,低品質でよいものは中国へ,ということになるトレンド.
給電 「将来のデータセンタに向けた直流給電方式の検討」 株式会社NTTファシリティーズ 廣瀬 圭一直流給電.300-400Vの直流をサーバに流し込む.現在の電源も内部で,このくらいの ACに直しているとかで,この電圧なら既存の電源の後段がつかえるということらしい.エジソンの会社がついこの間まで直流給電を行っていたというのはびっくりだ.
ネットワーク 「シスコが提唱するネットワーク仮想化と次世代プラットフォームとは」 シスコシステムズ合同会社 熊谷 慶一「UCS」は,10Gをバックプレーンに持つブレードサーバ.配線すっきり.そりゃそうだ. mac addressからふり直すことができ,一括して設定をサーバに流し込むことができる.
仮想化 「サーバー仮想化技術の有効活用」 日本仮想化技術株式会社 宮原 徹仮想化コンサル.現実的な話が聞けて面白かった.やっぱりブレードがいいとか, AMDのほうが同じ性能なら消費電力が若干少ないとか.
抜熱 「データセンターの省エネルギー化を目指したサーバ冷却ネットワークシステムの研究開発」 産業技術総合研究所 阿部 宜之炭化フッ素の液体を使い,ヒートパイプでCPUから抜熱.DC全体に液冷システム系を作って,そこに各サーバの液冷系をプラグインするという構想.面白いが,まだまだ基礎研究に近い.
2009年8月17日月曜日
SWoPP09@仙台(三日目)
OS-3
Taint Analysis によるスパイウェア検知手法の回避 落合 淳,嶋村 誠(慶大),河野 健二(慶大,JST(CREST))taint analysis 現在主流の解析手法には回避手法がある. taint伝搬の手法を提案.これには,本来ハードウェアサポートが必要だが,QEMMを使ってハードウェアサポートをエミュレートして実装してみせている.誤検出はまだ多いので,まだ,結構大変そう.
HPC-12
クラスタ間高速ファイル転送方式の提案と評価 鈴木克典,建部修見(筑波大)建部さんのところ.クラスタ間ファイル転送をローカルに複製をつくってから送信することで高速化.1つのノードにあるものを別のクラスタのどこかに移す. 実験の際のボトルネックが送信側マシンから読み出す速度になってしまっていて, なんかいまいち.
広域ファイルシステムのための分散メタデータサーバの初期実装と評価 平賀弘平,建部修見(筑波大)ボトルネックになりがちな,メタデータサーバを分散実装.
PRO-2
解像度調整機能を備える並列動画像処理ライブラリRaVioliの実装 大野将臣,桜井寛子,津邑公暁,松尾啓志(名古屋工業大学)画像処理ライブラリを並列化.まあ,普通.
PRO-3
並列プログラミングモデルとそのポータブルな処理系 高山征大,境隆二,加藤宣弘,島田智文(株式会社東芝)Mols と呼ぶ単一参照言語で,Cで書かれたAtomsとよぶルーチンをデータフロー制御して実行. Cellに実装され、東芝の超解像の実装に使われているとか. おもしろかった.
並列デバッガにおける情報視覚化手法 松下圭吾,谷口和也,松本真樹,大野和彦,佐々木敬泰,近藤利夫(三重大),中島浩(京大)プログラムスライスを提示するデバッグ手法の一つ.完成度は今ひとつ.
SWoPP09@仙台(二日目)
HPC-8
異種ミドルウェア間に跨るワークフロージョブの実行方式と実装 田中義一,合田 憲人(NII)NAREGI残党.まだやっているのか...発表練習ぐらいしたほうがいいと思う. 内容は,SSを使わずに,手元で軽量のワークフローエンジンを動かすという話.SS要らないじゃん.
異種グリッドミドルウェアに跨るアプリケーションホスティングサービス(AHS)の設計と実装 宇佐見仁英(玉川大学),大西尚樹,水澤有里,金澤宏幸(富士通)NAREGI残党.PSEがAHSに名前を変えている.なんだかなあ.
OS-1
仮想マシン技術を用いた OS 再起動のダウンタイム削減手法 山田浩史,河野健二(慶大/CREST)リブートする間,複製した仮想計算機を使っておいて,リブート後に,マージする. リブート中の作業とリブートによるインストールが独立したパーティションに行われるということが前提.
OS-2
Plan9を用いた分散組込みシステムのプログラミングシステム 盛合 智紀,並木 美太郎(東京農工大)9pというプロトコルを用いて,分散組み込みシステムを構成する. リーフノードのディレクトリをマスタノードにマウント,ディレクトリに 書き込みを行うことでリーフノードを制御できる. バイトコードインタプリタもつくり込んだりしているようだ.
クライアント資源を利用した堅牢なマッシュアップサービスの実現 堀江 光,浅原 理人(慶大),河野 健二(慶大,CREST,JST)クライアントをP2P接続してページをキャッシュすることで,突発的なアクセスの増加に対応できるようにするという話.
ユーザ毎にカスタマイズ可能な Web アプリケーション・フレームワークの実装 別役 浩平,千葉 滋(東京工業大学)ユーザごとに,Webアプリのプログラムにアスペクトをweaveする,という無理のある話. 技術的には,クラスローダをうまく制御して,最低限のクラスのみを再ロードするようにするということなので,応用範囲は広そう.DIコンテナのホットデプロイとか.
2009年8月4日火曜日
SWoPP09@仙台(初日)
ARC-1
- P2P技術を応用したグリッド資源発見機構の提案 古久保 慶(大阪大学), 伊達さんオーバレイと,モニタのマスタノードの関係がよくわかない. skip graphs LL-netをskip graph上に実装したモノを使っている. ヒルベルト空間を使って,2次元空間をローカリティを保ちながら1次元に畳み込んでいる.おもしろい.
CPSY-1
- 並列分散環境におけるファイル共有システムの負荷原因探索システム 佐伯勇樹,田浦健次朗(東京大学情報理),鴨志田良和(東京大学情報基盤)複数のプロセスが,複数のNFSサーバにアクセスしているときに,/proc/netの情報だけから, どのプロセスが,悪さをしているのかを検出しようとしている. 線形結合で考え、サンプリングして,回帰解析でパラメータを抽出. しかし,あまりうまく行っていない? 実験がうまく行っていないだけのような気がする.
-仮想マシンPCクラスタにおける並列データ処理アプリケーション実行時のストレージアクセスに関する一検討 豊島詩織(お茶の水女子大学),原明日香(特許庁),小口正人(お茶の水女子大学)仮想PCクラスタの定義が我々と違うな. HPA : データマイニング.CPUバウンド.意外だが. OSDL-DBT3 データインテンシブなベンチマーク. dummynetで遅延挿入.- ソフトウェア. ローカルでのdomU,0の性能の違いが意味不明. VMをマイグレーションして,リモートサイトで処理?
VPN経路接続を用いたiSCSI遠隔ストレージアクセスの性能に関する評価 浅田菜那,比嘉玲華,小口正人(お茶の水女子大学)iSCSIのパラメータを調整して,VPNを用いた高遅延環境での最適な設定を探し出す. カーネルコード最適化.しかしVPNでもVPNじゃなくても効いている. なにをやったんだろうか.
CPSY-2
- 大規模計算環境におけるユーザ満足度を考慮した資源管理へむけて 國府理央,佐藤仁,松岡聡(東工大)エキスパートシステムの構築が目的.数理モデル. アンケート、因子分析.共通因子,独自因子 25サンプルでは足りない?
グリッド環境での大容量計算における効率的スケジューリング チェスンジュン(東京大学),田浦さんのところ.柴田君発表.gxpc makeの話.mksh が,xmakeに書き込むということ. ステージングとかは?ファイル共有が前提となっている? やっぱり,mkshが並列数と同じだけ残ってしまうようだ.
HPC-3
-並列アプリケーションの性能を損なわないポーリング型のモニタリング 鴨志田良和,田浦健次朗(東京大学)バリア同期するプログラムに対する.モニタプロセスの浸食を低減する. 基本的には,モニタプロセスも同期して,同時に実行するようにすればよい,ということのようだ
HPC-5
シームレスなMPI環境を実現するMPI-Adapterの設計と性能評価 住元真司,中島耕太,成瀬彰,久門耕一(富士通研),安井隆(日立),鴨志田良和,松葉浩也,堀敦史,石川裕(東大)MPI-adapter - MPIのABIを定義. .soで, 各MPIでの呼び出しをフックして変換 Fortranに対応. MPIのFortran実装は,だいたいF2Cで実装されている? 素直に実装するとcとフォートランが混在している環境では うまく行かないので、ELFのディスパッチテーブルを自ら書き換えることでうまくやっている.
PCクラスタ上のスケジューラを利用したMapReduceの実装 山下尊也(同志社大学大学院工学研究科),廣安知之(同志社大学生命医科学部),吉見真聡,三木光範(同志社大学理工学部)Windows clusterで,独自マップリデュース.といっても,多分何か誤解している. リデュースを分散化しようが無い構造になっている.key-valueを使っていないから. これでmap reduceになるならだれも苦労しない.
ファイルステージングシステム Catwalk の MPI-IO 実装 堀敦史,鴨志田良和,松葉浩也,太田一樹(東大),安井隆(日立),住元真司(富士通研),石川裕(東大)MPICH2のMPI-IO実装のROMIOの下に,Catwalkを差し込む.MPI-IOから使うと自動的に Catwalkが使える. 副次的な効果として,生のCatwalkだとできなかった,writeのフックができるのと同じ ことになるので,ファイルの書き込みをジャーナリングして複数のプロセスが,一つのファイルを更新するという操作が可能になっている. ジャーナルレコードをマージソートしてオリジナルに反映.
登録:
投稿 (Atom)