GPGPUを用いた高性能地震動シミュレーション
SC11 Special Awards paper candidate
東京工業大学 情報理工学研究科 数理・計算科学専攻 松岡研究室
http://matsu-www.is.titech.ac.jp/ja/contact

背景・目的

Tsubame 2.0に代表される大規模並列計算環境では、構成する計算機の台数も膨大なものとなり、計算ノードの故障発生確率が無視できないものとなってきます。そのため、一部の計算ノードが故障しても計算を継続できるようにする技術が重要となります。
このため、計算ノードの故障に備えてチェックポインティングと呼ばれる計算の途中経過を定期的に保存する処理を行うのですが、チェックポインティングにかかる時間が計算全体に占める割合も現状のシステムでは約25%と大きく、いかにして保存処理のコストを減らすかが、計算全体の高効率化にとって重要となっています。
本研究では、地震動シミュレーションの代表的なアプリケーションであるSPECFEM3DをTsubame 2.0に代表されるGPGPU環境に移植したプログラムを対象に、チェックポインティングの高効率化を行いました。

方法

本研究では、CUDA版SPECFEM3Dに対して、高効率チェックポインティング機構を実装しました。並列アプリケーションのチェックポインティング処理は、計算中のプロセスを止めてメモリ等のデータを保存する処理と、保存したデータをノード故障に巻き込まれないように別のノードと共有する処理に分かれます。GPGPUを用いたアプリケーションでは計算は主にGPUで実行されるため、計算途中では一部のCPUコアが使われておらず、処理能力に余裕があります。そこでチェックポイント処理の実行時間の大部分を占めるデータの共有操作をこの余剰CPUに任せることで、チェックポインティングの見かけ上の処理時間を短くすることができます。

評価

GPGPU版SPECFEM3Dを用いて、チェックポインティングを行わなかった場合、従来手法によるチェックポインティング(BLCR+Lustre)を行った場合、本研究手法によるチェックポインティング(FTI)を行った場合のそれぞれについて、実行速度の比較を行いました。
その結果、本研究手法は従来手法に比べてチェックポインティングのコストが低く、同じ問題を多数の計算機で解く際にも性能の劣化が起こりにくいということが示されました。

また、このGPGPU版SPECFEM3Dを用いて2011年3月11日の東北地方太平洋沖地震の高精度地震動シミュレーションを行いました。
これは、地盤の変動データをもとに対象地域を960×960のグリッドに分割して全国70か所の観測点における地震前後1500秒間の東西・南北・鉛直各方向における地面のずれを算出したものです。シミュレーション結果は実際の観測結果と精度良く一致していることが確かめられています。

福島県広野町の観測点における変位シミュレーションの結果