分散メモリ向け並列言語XcalableMPコンパイラの実装と性能評価 李 珍泌, 朴 泰祐, 佐藤 三久(筑波大) OpenMPと並列フォートランを混ぜたような言語。グローバルビューとローカルビュー があり、グローバルビューだけでもほとんどのプログラムをかけるが、書き切れない部分をローカルビューで補うという機構。ローカルビューとグローバルビューの連携をどう記述するのかが、聞いていてもよくわからなかった。 柔軟かつ直観的な記述が可能なジョブ並列スクリプト言語Xcrypt 平石 拓, 安部 達也, 三宅 洋平, 岩下 武史, 中島 浩(京大) バッチキューイングシステムのフロントエンドとなるスクリプト言語。と言っているが、単なるRubyのライブラリである。スクリプト自体のチェックポインティングのことを考えると、素直になんらかのワークフロー言語を使うべきだと思う。 QuickCheckを用いるモデルベーステスト実行のためのMapReduce型テストフレームワークの提案 生田 裕樹, 日下部 茂(九大) 乱数でテストケースを生成し、プログラムをチェックする、モデルチェッキングにHadoopのMapReduceを利用する試み。アプローチは興味深いが、並列プログラムの挙動の解析としては物足りない。結果は32コアで14倍程度の並列化効率しか得られていないが、計算の種類を考慮すると、直感的にはもっと並列化効率が高くて然るべきである。 MPI-Adapter: 異なるMPI実装間でバイナリ互換を実現するインタフェイスアダプタの設計と評価 住元 真司, 成瀬 彰, 久門 耕一(富士通研), 安井 隆(日立), 鴨志田 良和, 松葉 浩也, 堀 敦史, 石川 裕(東大) 複数のクラスタをMPIで連携させる際に問題になるのは、それぞれのクラスタが往々にしてベンダ固有のMPIライブラリを利用していることである。MPIにはバイナリインターフェイスが定義されていないので、MPIライブラリを連携して動作させることは非常に難しい。この研究では、各MPI実装のヘッダファイルから自動的に情報を抽出してアダプタを生成することで、異なるMPI実装を連携した実行を可能としている。 マルチコアPCクラスタ向けAll-to-all通信アルゴリズムの提案と評価 成瀬 彰, 中島 耕太, 住元 真司, 久門 耕一(富士通研) マルチコアPCクラスタでMPI通信を行うと、隣接するコアの発行する通信との干渉によって性能が低下する。この論文は、性能低下の原因を解析し、低下しないようスケジューリングする方法を提案している。ちなみに、最優秀論文賞の一つであった。 リングトポロジーによる MPI-IO 書込の高速化 堀 敦史, 太田 一樹, 鴨志田 良和, 松葉 浩也(東大), 安井 隆(日立), 住元 真司(富士通研), 石川 裕(東大) クラスタ上のMPIプログラムが共有ディスクにデータを書き込む際に、同時に書き込みを行うと、シークが頻発するため性能が極端に低下する。ROMIOは、リング状にデータを転送しつつマージしていくことにより、シークを減らし、書き込みスループットを最大化する。 これ、おもしろい。
2010年6月1日火曜日
SACSIS
2010年5月12日水曜日
クラウド研究会@青山オラクル
浅海さん:
クラウドアプリのモデリング 大規模になり、同期通信は現実的でなくなるので、非同期になる。 したがってキューのような構造が重要。 メッセージフローという抽象化。ScalaのDSLで書いたモノを 自動的にコードに変換する。Yahoo pipesのようなイメージ 感想:DSLは超読みづらい。あれでいいとは思えない。単純な構造は 書けるだろうけど、複雑な構造は難しそう。マイクロソフト 砂子さん:
Azureのアップデート シンクフレームワーク Azure SQL - Azure SQL間、 SQL Server - Azure SQL間、 Azure SQL - クライアントアプリ間で データをシンクする 汎用フレームワーク。これはすごい。 シンクが効率的にきれいに実装されているなら、シンクのみを ベースにアプリを作ったっていいぐらいだ。
2010年5月6日木曜日
CUDA講習会
いまさらで恥ずかしいが、東工大で行われたCUDAの講習会に行ってきた。
CUDAはnVidiaのGPGPU(汎用GPU)向け開発環境の名前。CやFortranでGPGPU
プログラムができる。
ユーザは、GPGPU上で実行される「カーネル」と呼ばれるコードを書く。
このカーネルを、大量のスレッドで同時並列に実行する事で、並列実行が
行われる。面白いのは、多量に実行するスレッドを2段階に階層化すること。
スレッドグループがコアに割り当てられるので、コア単位の並列度を稼ぐには
スレッドグループを増やさなければならない。
個々のスレッドグループは一つのコア上で実行される。このときメモリアクセス
のレイテンシを隠蔽するために、SMT的な並列実行が行われるので、
ここにも複数のスレッドを割り当てておかなければ効率が落ちる。
スレッドグループ内からのみアクセスできるローカルメモリと呼ばれる
メモリがあり、これをうまく使うことで、大幅に高速化が可能。
今後はローカルメモリに変わって普通のキャッシュが導入されるとのこと。
この辺の最適化が不要になるので、さらに使いやすくなるだろう。
印象的なのは、CUDAの開発環境の完成度。コンパイルと実行が、ほとんど普通の
CPUと同じようにできる。カーネルとホストプログラムを一つのファイルに書けたり、
a.outが一つのファイルになるのも、地味だが
非常に重要なポイント。プログラミングモデルも、単純で並列に
親しみのないユーザにもわかりやすくてよい。この程度の作業で
数倍-数十倍の高速化ができるのなら、やってみたくもなる。
ただ、今後のGPGPUの行く末がちょっと気になる。この種のアクセラレータが
今後主流になるのはいいとして、開発コストをGPUユーザに負わせるモデルが
どこまで持続可能だろうか。ハイエンドGPUのユーザ層は先細りだし、
今後のGPUはプロセッサ内蔵の、よりカジュアルなものに移行していくだろう。
そうなったときにGPGPUの開発コストはHPCユーザが負わなければならない。
その場合のGPGPUの価格は、どのくらいになるんだろうか。
2010年1月29日金曜日
OS研究会@札幌 2010/1/27,28
2010年1月27日(水)
おもしろいが, なんでHybridというのかイマイチわからん.なにとなにのハイブリッドなのか? 評価は1対1でしかやっていないので,1対多になったときの性能は不明. 1対1ではそれなりの性能が出ているらしい.今後のe-science cloud でGPUを使う,とか言うときにちょっと面白いかも.
■仮想化(1) [13:30-14:45] (1) ARMアーキテクチャ用仮想マシンモニタの実装 鈴木章浩,追川修一非特権センシティブ命令をスタティックに置き換えているところと, ページをつかわないでドメインでメモリ保護をさせるところが 面白いところ,なのかな?
(2) 仮想マシンのオーバヘッドおよび負荷評価方法の提案 金田典久,飯塚剛,金木佑介仮想計算機に統合する際のサイジングのお話.負荷予測? 統合前の負荷を調べておく.負荷シミュレータ.シミュレーションっていうか, 実機使ってるなあ...たしかに「負荷」をシミュレートしているだけなのか.
(3) XenにおけるPCI Passthroughの性能評価 渡邉和樹,永島力,茂田井寛隆,片山吉章,毛利公一PCI Passthrough と準仮想化を比較. 「遅延」とかいうのはおかしいよな. Domain0での実行が速すぎる.ちゃんと計測できていないんじゃないかとしか 思えない. 対象がディスクとか1GNICだと,ディスクが律速で,あまり差がでない.もっと速い 10GNICとか,GPGPUだと面白いんじゃないか?
■OS実装法 [15:05-16:20] (4) OCamlによるOSの実装 井上翔大,大山恵弘OCamlでOSを実装.もちろん,ハードウェアに直接触る部分は Cのasm文で書いている.実装の完成度はまだまだだが,今後が 楽しみ.
(5) 異なるOpenCL実装を接続可能にするHybrid OpenCLの構築 青木亮,追川修一,土山了士,中村孝史他のノードのOpenCLデバイスをリモートで利用することのできるライブラリ の提案.複数のノードのOpenCLデバイスを同時に使うことで 高並列の実行が期待できるほか,各ノードがことなるOpenCLデバイスを持つ ような,ヘテロ環境にも対応できる.
おもしろいが, なんでHybridというのかイマイチわからん.なにとなにのハイブリッドなのか? 評価は1対1でしかやっていないので,1対多になったときの性能は不明. 1対1ではそれなりの性能が出ているらしい.今後のe-science cloud でGPUを使う,とか言うときにちょっと面白いかも.
(6) スクリプティング言語によるカーネル拡張 井出真広,中田晋平,倉光君郎konoha というJavaっぽいスクリプト言語でLinuxのモジュールを書く, というはなし.デモでは失敗していたが,まあそれはご愛敬. ランタイムをカーネルモジュールとして実装し,そこで実行する. konoha がCの構造体を比較的簡単に参照できるようになっているのがミソなのか.
1月28日(木) ■メモリ管理 [10:00-11:15] (7) イーサネット接続SSDによるコンピュータのメモリ拡張 鈴木順,馬場輝幸,飛鷹洋一,樋口淳一,加美伸治,内田智士,高橋雅彦,菅原智義,吉川隆士express etherを使って,ioDriveをリモートから使ってswapを高速化. 現状だとPCIを1対1でつかうことになってあまりうれしくないが, 将来的には,共有できるようになるらしい.それなら面白いかも.
(8) ゼロコピー通信処理を可能にする実メモリ交換機能の提案 門直史,田端利宏,谷口秀夫Tender話.ページをスワップする機能を使って,ユーザランドと カーネルランド間での転送をサボる. ただし, ページ全体がスワップされちゃうので,実際には 受信時にはページにアラインメントされた領域を確保しなければ ならないから,pin downするのと大して変わらないおうに見える.
(9) 省メモリのためのメモリアクセス解析手法の提案と実装 壬生亮太,高橋雅彦,菅原智義組込機器でメモリアクセスをトレースしてリアルタイムで可視化する.
■並列・分散処理 [11:30-12:20] (10)範囲検索と複数属性のデータの処理に適応した分散データストア 川上大輔,松井俊浩,齋藤彰一,津邑公暁,松尾啓志KVS を2つつかって,検索性と複数要素の格納を両立させる と言う話し.インデックスを別のKVSに作っている,ということなのか. 完成度は低そう.
(11)yass: yet another simple storage 荒川淳平,笹田耕一,竹内郁雄PHPで作ったストレージ.orz-DHT意外にもそんなモノがあるとは. 完成度高そう.マウントもできるらしい.
■仮想化(2) [13:30-14:20] (12)SMPを活用したPrimary/Backupモデルによるリプレイ環境の構築 川﨑仁,追川修一SMP上でVMを時間差実行.イベントをバッファリングしてから食わせてやることで, 時間差で全く同じように実行させる.で,それをカーネルパニックしたときなどに 検出する.
(13)仮想マシンモニタを用いたVPN障害への透過的な対応手法 松橋洋平,品川高廣,加藤和彦クラウドへのVPN接続をVMM で管理することで,ゲストに対して透過に耐故障性を付与する.
■プロセス管理 [14:35-15:50] (14)ライブラリ実装したプログラム実行速度調整法における処理の均一性の評価 境講一,田端利宏,谷口秀夫,箱守聰ライブラリでプログラム実行をスロットリング.cgroupとかで できてしまいそうで微妙.
(15)EDFスケジューリングにおけるDVFSを用いたCPU省電力化手法 林和宏,並木美太郎DVFS 制御による省電力.周期タスクで予測をいれることでより 効率的に制御できる,というところがミソ.
(16)プロセスグループ別LSMのためのLSMフレームワーク拡張 中田晋平,倉光君郎linux container で利用されている機能を用いて,セキュリティ機構を拡張.
2010年1月21日木曜日
GNU Emacsにおける暗号化機能の刷新
GNU Emacsにおける暗号化機能の刷新 上野 乃毅 コンピュータ ソフトウェア Vol. 26 (2009) , No. 4EmacsのPGP実装を入れ替えるのに,オープンソフトウェアコミュニティでどういう苦労をしたか,という話し.タイトルと内容がちょっとずれているような. Comsysで聞いたTOMOYO LINUXをカーネルにマージする話しと似ている.しかしなあ,この話しこそ,ブログでもいいような.まあ,論文っていうのはもともとそんなもんなのかもしれない.
なぜソフトウェア論文を書くのは難しい(と感じる)のか
なぜソフトウェア論文を書くのは難しい(と感じる)のか 権藤 克彦, 明石 修, 伊知地 宏, 岩崎 英哉, 河野 健二, 豊田 正史, 上田 和紀 コンピュータ ソフトウェア Vol. 26 (2009) , No. 4ソフトウェアそのものに関する論文がなぜ書きにくいのか,を論じている.しかし,ソフトウェアそのものに関して論文を書くべきなんだろうか?まあ,まとまった形でどこかに知見が残されていることは有益だと思うけど論文である必要はない.ソフトウェアのドキュメントでもいいだろうし,ブログでもいい.問題はむしろ,論文という形じゃないと評価されない,というシステムのほうにあるような気がする.今後論文の相対的な地位はどんどん下がるんだから,無理に論文にしなくてもいいんじゃないかな.
2009年12月4日金曜日
appengine java night #3
ATND
datastore put 100-250ms get 20ms query 620ms
全文検索を力でやろうとしている.すごいね. 全文検索にはcompass というのがあるがtoyで使えない.
<セッション1> 発表者:id:bluerabbitさん 参考URL: http://d.hatena.ne.jp/bluerabbit/ テーマ:「実際に作ってわかったappengineの困ったところ」 内容:実際にappengineで開発してみてどんな事が問題になったのか。その問題をどのようにして回避したのか。appengineの様々な制約に対する回避策をご紹介します。天気予報を取ろうとすると,30秒ルールではじかれた. タスクキューで地域ごと142のタスクで実行.なぜか全部で3分かかった. キューの同時実行が想定通りでない. バッチ処理が問題になる.バッチが終了したことをどうやって検出するか. 機能を分割.チェイン.終了判定はカウンタ.memcache counter. memcache のlow level APIでatomic なcountが可能らしい. contains はやらないほうがいい by ひがさん 一発目の排他が難しい. s.put で 戻り値が返ってきたら制御 引数つきのs.putで失敗するように設定すればよい. タスクキューは冪等を保証しなければいけないらしい.まあそうだろうな. Mailの制限. 1日7000、1分32件. JDOだと関連をもとに勝手にentity groupを作ってしまっていて混乱のもと.byひがさん transaction 開始後最初のget/putで そのときのタイムスタンプをどこかに取っておく. commit のときに取っておいたタイムスタンプと同じかどうかを比較する. ancestor query 以外のqueryではtransactionがかからない.keyに対するgetだと だいtransactionになる.queryは本来複数の行を相手にしているので,そもそも どのentityグループにぞくしたqueryなのか定義できないから.ancestor queryは entity groupに対するqueryなので,定義できるから. low level APIにはtransaction ありとなしのメソッドがある. なしのメソッドはデフォルトのトランザクションということになる. トランザクションは入れ子にすることができ,一番内側のトランザクションがデフォルト のトランザクションになる. トランザクションにnullを指定すると トランザクション外で実行することができる. 開発環境でもちゃんとトランザクションの挙動が忠実に反映されている. kindlessAncestorQueryのみ挙動が違う. serializable - トランザクション内の分離レベルはserializable 非常に強固な分離.oracleはread-committed. timestamp付きで bigtable から読んでいる.だから,横の commit前のデータがちゃんと読める. ユニークキーは使えない.自分でユニークになるように制御しなければいけない.
KeyRange keys = service.allocateIds(KIND, 1);
<- これ,結構重い.まとめてやったほうがいい.1件20msぐらい.
String key = KeyFactory.keyToString(keys.getStart());
チェイニングの機能を提供したらおもしろいかもね.
<セッション2> 発表者:ぶいてく竹嵜さん 参考URL: http://blog.virtual-tech.net/ テーマ:「ぶいてく流 スケーラブルアプリの作り方」 内容:「GAEはスケーラブルである、とはいうものの、30秒ルールなど実際には様々な制約があって、大量のデータを処理したり、また、大量のアクセスに耐えうる業務アプリを作るのは大変難しいと思います。スケールしなければクラウドの意味はない!?ということで、ぶいてくでは、いろいろと制約を回避する工夫を行ってきました。これらは独自の方法で、一般的ではない部分も含まれますが、いろいろと応用は可能かと思います。課題に対応した一つの例としてご紹介しますので、これをきっかけに皆さんもいろいろ考えてみてください。 1.GAE使ってめいっぱいPDFを生成する。どのくらい生成可能でどのくらい時間がかかるか、など 2.1000件を超える大規模データを処理する方法。Pagingにおける、CounterやKeyなどの実装例task queue スケールしないじゃんか!という話し. 請求書生成アプリ.PDFを差し込み生成. 受注受付処理と引き当て処理を分離. ブラウザ上のデータも含めてデータの整合性を管理する必要がある.重要. 最大値,最小値は一瞬で取れる.最小値の場合は,nullが最少になることがあるので注意が必要 memcache getput 15ms
datastore put 100-250ms get 20ms query 620ms
全文検索を力でやろうとしている.すごいね. 全文検索にはcompass というのがあるがtoyで使えない.
登録:
投稿 (Atom)