[GSIC] Tokyo Institute of Technology | Global Scientific Information and Computing Center - その他

お問合せ

webmaster — Sun, 21 Feb 2010 13:51:19 +0000

東京科学大学情報基盤センターに関するお問い合わせのページです。
TSUBAMEの利用方法等につきましてはこちらを参照ください。
TSUBAMEに関する問い合わせにつきましてはこちらからお願いします。

お名前 *

メールアドレス *

お問合わせ内容 *

連絡先
住所	〒152-8550 東京都目黒区大岡山 2-12-1 E2-1 東京科学大学情報基盤センター

CAPTCHA

この問題はユーザが人間であるかどうかをテストし、スパムによる自動投稿を防ぐためのものです。

English

TSUBAMEの全ノードを使って都心部の10km四方の気流を1mの解像度でシミュレーションに成功

author1 — Wed, 10 Oct 2012 02:11:55 +0000

都心部の気流を1mの解像度でシミュレーション
～TSUBAMEの全ノードを利用し10km四方の計算に成功～

東京工業大学学術国際情報センター (GSIC) の青木尊之教授と小野寺直幸特任助教らは、東京都心部の10km四方のエリアに対し、実際の建造物のデータをもとに1m間隔の格子解像度で詳細な気流をシミュレーションすることに成功しました。都市部は高層ビルが密集した複雑な構造をしており、気流（風）はすぐに乱流と呼ばれる状態になります。これを予測するには、1m間隔の格子を用いて広範囲に計算する必要があり、東京工業大学のスパコンTSUBAME2.0（用語１）の殆ど全てのGPU（用語２）4,000個を用いることでシミュレーションすることに成功しました。1m間隔という細かい格子を用いてこれだけ広範囲の気流計算を行った例は世界でも報告されていません。

これにより高層ビル背後の発達した渦によるビル風や幹線道路に沿って流れる「風の道」、台風の際の被害などが桁違いの精度で予測できるようになります。さらに、排ガス、事故やテロによる有毒ガスなどの汚染物質の拡散も詳細に予測できるようになり、国民生活の安全・安心に直接的に貢献できると考えています。

計算方法は大規模計算に適している格子ボルツマン法（用語３）を用い、発達する乱流を計算するために広域的な平均操作を行わないラージエディ・シミュレーション（用語４）のモデルを導入しています。詳細には、1mの格子間隔で水平方向に10,240×10,080格子、鉛直方向に512格子を用い、計算領域を4,032に分割して4,032個のGPUで計算しています。シミュレーションのプログラムはGPUでの計算用に高度にチューニングされており、4,032個のGPUを用いて600 テラフロップス（単精度計算）の実行性能が得られました。また、GPUの消費電力が少ないため、本シミュレーションは電力効率が1ワット当たり545 ギガフロップスであり、少ない電力（エネルギー）で目的の計算結果を得ることができました。

今後とも、東工大および本センターでは、TSUBAMEを使って社会貢献につながる更なる研究を続けて行く所存です。

粒子を用いた港区周辺の気流計算の可視化

用語１	TSUBAME ： Tokyo-tech Supercomputer and UBiquitously Accessible Mass-storage Environment。初代TSUBAME1は2006年4月～2010年10月の期間稼働し、一年半にわたってアジア一位のスパコンとなるなど多くの成果を達成。2010年11月に、GPUを4264台とCPUを2952台搭載したハイブリッド型のスパコンとして、ピーク性能2.4ペタフロップスを持つ我が国初のペタフロップス・スパコンTSUBAME2.0に引き継がれ、Top500ランキングで世界4位になっている。

用語２	ＧＰＵ：　Graphics Processing Unit はパソコンのビデオボードなどに搭載される描画（グラフィクス）専用プロセッサ。近年、多岐に渡る描画性能の要求に合わせてアーキテクチャが進化し、描画以外の汎用的な計算が可能になってきた。チップ上に数100以上の小型プロセッサを搭載し、超並列計算を行うことにより、同数のCPUと比べると非常に高い性能が得られる。TSUBAMEが2008年10月に世界で初めて680個のGPUをスパコンに搭載して以降、世界中のスパコンにGPUの導入が始まっている。

用語３	格子ボルツマン法：一般的には空間3次元と時間を独立変数とするナヴィエ・ストークス方程式を解いて流体計算を行うことが多いが、格子ボルツマン法はさらに速度空間も独立変数とする、より第一原理的なボルツマン方程式を近似的に解く数値計算手法である。速度空間の自由度を極端に制限し、比較的単純なアルゴリズムで計算することができ、大規模計算での採用が急激に増えている。等間隔格子で気流シミュレーションを行う場合などでは、格子ボルツマン法の方がナヴィエ・ストークス方程式を解く計算より、短時間でシミュレーションを行うことができる。

用語４	ラージエディ・シミュレーション：　流れが乱流になった場合、流れの特徴である渦構造は大きい渦から小さい渦まで分布する。その小さい渦まで解像する計算をすると現在のスパコンの数百万倍の演算性能が必要となるような非現実的な格子数で計算しないと十分な結果が得られない。ラージエディ・シミュレーションは計算格子で表現できる範囲の渦を方程式に基づいて計算し、格子より細かい渦に対してはモデルを導入する。激しい（高いレイノルズ数の）乱流に対して最も精度よく計算できると言われており、スマゴリンスキー・モデルが最も広く使われている。しかし、モデル定数を決定するために、動的スマゴリンスキーでは広範囲の空間平均操作を必要とし、これが大規模計算では大きな障壁となる。本シミュレーションでは、慶應大学の小林宏充教授の開発した平均操作を行わないコヒーレント構造スマゴリンスキー・モデルを格子ボルツマン法に適用することに成功し、大規模なラージエディ・シミュレーションに道が開けた。

※ ペタフロップス　１ペタフロップスは１秒間に1000兆回の浮動小数点演算を実行
※ テラフロップス　１テラフロップスは１秒間に1兆回の浮動小数点演算を実行
※ ギガフロップス　１ギガフロップスは1秒間に10億回の浮動小数点演算を実行

ダミー２

匿名ユーザ — Tue, 25 Sep 2012 05:26:04 +0000

2012 autumn、2012 spring、2011 autumn、 2011 spring

申請実績
	2012 autumn	2012 spring	2011 autumn	2011 spring
Category	採択数(応募数)
Category A	2(2)	2(2)	3(3)	4(6)
Category B	0(0)	0(0)	2(3)	-
Subtotal	2(2)	2(2)	5(6)	4(6)

平成23年春期採択利用課題一覧
Project number	Category	Affiliation Project leader	Project name	Report
1	A	Tokyo Institute of Technology Yutaka Akiyama	Development of an ultra-fast computing pipeline for metagenome analysis with next-generation DNA sequencers	Report [PDF: 529KB]
2	A	Tokyo Institute of Technology Satoshi Matsuoka	Multiphysics Biofluidics Simulation	Report [PDF: 391KB]
3	A	Keio University Kenji Yasuoka	Turbulence Simulation using FMM	Report [PDF: 1.45MB]
4	A	Tokyo Institute of Technology Takayuki Aoki	Large scale Phase-Field simulation for metal dendritic solidification by multi-GPU computing	Report [PDF: 1.18MB]

HPCI資源提供機関を利用した日本チームがスパコンの世界ランキング「The Graph 500」にて世界３位と４位！

author1 — Mon, 18 Jun 2012 01:32:47 +0000

^{PDF版はこちら　(PDF:160KB)}

国立大学法人東京大学情報基盤センター
国立大学法人東京工業大学学術国際情報センター

HPCI資源提供機関を利用した日本チームが
スパコンの世界ランキング「The Graph 500」にて
世界３位と４位！

►大学や研究機関のHPC資源をネットワークで結合するHPCI(High Performance Computing Infrastructure)（用語１）の資源提供機関を利用した鈴村豊太郎東京工業大学客員准教授を中心としたチームがスパコンの大規模データ解析性能の世界ランキングであるThe Graph 500の2012年6月版において世界３位及び４位を達成。

High Performance Computing Infrastructure (HPCI、用語１)の資源提供機関である、東京大学情報基盤センターのOakleaf-FX（用語２）及び東京工業大学学術国際情報センターのTSUBAME2.0（用語３）を利用した鈴村豊太郎東京工業大学客員准教授を中心としたチームが、「The Graph 500 List」（用語４）の2012年6月版において358.10 GigaTEPS (ギガテップス)及び317.09 GigaTEPSを記録し、世界３位及び４位として認定されたことが、ドイツハンブルク市で開催されているヨーロッパ最大のスパコンの国際学会 "2012 International Supercomputing Conference (ISC12)" にてドイツ時間6月19日に発表されました。

「The Graph 500」は、有名なスパコンの数値計算性能のランキングである「The Top 500」では有効に計測されず、かつ近年重要とされているスパコンの大規模データ処理の処理性能を競うもので、指標としてグラフ構造の幅優先探索処理の性能としてのTEPS (Traversed Edges Per Second：1秒間に辿るグラフのエッジ数)を用います。この指標は、スパコン上での構造物設計等のアプリケーションや、大規模計算の結果のデータマイニングはもとより、近年の情報社会におけるウェブ検索・ソーシャルネットワーク・ITSなど、情報化社会のインフラにとって本質的なものであり、ランキングのトップクラスにはTop500の上位スパコンが並びます。

今回、東工大大学院計算工学専攻・鈴村客員准教授らのチームは、Graph500の性能評価に関してHPCI資源提供機関である東京大学情報基盤センターの「2012年度 FX10 スーパーコンピュータシステム大規模 HPC チャレンジ」及び東京工業大学学術国際情報センターの「TSUBAMEグランドチャレンジ平成24年度春期」の課題として採択されました。Oakleaf-FX及びTSUBAME2.0上でそれぞれ新たな超並列な幅優先探索のソフトウェアを研究開発し、Oakleaf-FXにおいて2750億の頂点と4兆枝、TSUBAME2.0においては340億個の頂点と5500億枝からなる超大規模グラフ(それぞれScale38とScale 35)に対して、Graph 500の規則通りにある任意の点からの全点幅優先探索を，Oakleaf-FXのほぼ全部を用いる4800ノードとGPUを搭載したTSUBAME2.0のほぼ全部を用いる1366ノード上で実行して、それぞれ12.3秒と1.73秒で全探索を終え、上記の指標を得ました。「The Graph 500 List」において日本のスパコンが上位に入賞することは、同じ鈴村客員准教授らによる2011年11月のTSUBAME2.0を用いた成果に引き続き二度目になります。

今後とも、東京大学情報基盤センター及び東京工業大学学術国際情報センタはHPCIと連携し、更なる日本のHPCの飛躍に向けて、不断の研究開発を続けていく所存です。

用語1　HPCI ：High Performance Computing Infrastructure。HPCIは、「京」と全国の大学や研究所などに設置されているスパコンをネットワークで結び、多様な計算環境を構築。ユーザやスパコン資源の提供機関からなるコンソーシアムの主導により構築。

用語２　Oakleaf-FX ：東京大学情報基盤センターは、1965年に全国共同利用施設の大型計算機センターとして発足。学内外に1,500名以上の利用者を有している。Fujitsu PRIMEHPC FX10に基づくOakleaf-FXシステム（ピーク性能1.13 PFLOPS）は2012年4月2日より試験運転を開始した。

用語３　TSUBAME ： Tokyo-tech Supercomputer and UBiquitously Accessible Mass-storage Environment。初代TSUBAME1は2006年4月～2010年10月の期間稼働し、一年半にわたってアジア一位のスパコンとなるなど多くの成果を達成。2010年11月に、東工大とパートナー企業が共同開発した、我が国初のペタフロップス級スパコンである、新型のTSUBAME2.0に引き継がれた。

用語４　The Graph 500 List：説明は本文中。 http://www.graph500.org

産業利用トライアルユース公募要領　別紙

author1 — Fri, 16 Mar 2012 07:22:09 +0000

別紙

産業利用トライアルユースにおける課題カテゴリと戦略分野
産業利用トライアルユースには、戦略分野利用推進と新規利用拡大の2つの課題カテゴリがあり、戦略分野利用推進には5つの戦略分野を設定しています。

戦略分野利用推進
国家的・社会的課題に対応した技術的課題等を解決する区分の5分野
1. 計算化学手法による創薬技術の開発
  大量かつ高速な計算が可能なTSUBAMEを利用することで、従来の計算機環境では達成できなかった創薬技術開発につなげ、新薬をより安価に、高速に、安全に開発する技術等の課題
2. 大規模流体－構造連成解析技術の開発
  大規模流体－構造連成解析そのもの、あるいは大規模流体－構造連成解析技術の要素となる研究、および大規模流体または大規模構造解析等の課題
3. シミュレーションによるナノ材料・加工・デバイス開発
  革新的ナノ計測・材料加工技術を目的としたシミュレーションによるナノ材料・加工・デバイス開発技術等の課題
4. 社会基盤のリスク管理シミュレーションへのHPC応用技術の開発
  スーパーコンピュータの活用により、国民生活を支える基盤的分野で、社会の様々なリスクの軽減、および利便性の向上により快適な社会を実現する研究開発の推進を目的とするなどの社会基盤のリスク管理シミュレーション等の課題
5. アクセラレータ利用技術の推進
  TSUBAMEに搭載されたGPGPU等の非常に多数の演算器を持ったアクセラレータを利用する技術、新アルゴリズム開発、アクセラレータコードのチューニングや応用分野の開発等の課題
新規利用拡大
これまでTSUBAMEを利用したことのない利用者及び利用分野に対し、新たに有望な戦略分野につながる利用課題等を募集する区分

　商用アプリバンドル型トライアルユースは、新規利用拡大に含まれます。
　平成27年度に提供する商用アプリケーションは、下記を検討しております。
　・三次元電磁界解析ソフト（CST STUDIO SUITE）
　・汎用流体解析ソフト（CD-adapco Star-CCM+）
　・汎用構造解析ソフト（MSC Nastran/Marc/Actran）

Page Top

提供する計算機資源と課金
本学の学内利用に提供する計算機資源とのバランスを取るため、平成27年度はTSUBAME2.5の1年間に利用できる資源の最大37％をTSUBAME学外利用に、最大15％を産業利用トライアルユースに割り当てます。
1. 産業利用トライアルユースにおける計算機資源と課金処理
  TSUBAME利用時には、課題採択時に課題選定・評価委員会が配分した口数分のTSUBAMEポイントが無償にて割振られ、計算機資源を利用した際に計算機資源使用量に応じたTSUBAMEポイントが減算されます。
2. 計算機資源の課金単位
  産業利用トライアルユースではTSUBAMEの計算機資源の割振りは口数を単位としており、1口は3,000TSUBAMEポイントです。1 TSUBAMEポイントは標準1ノード（12CPUコア, 3GPU, 54GBメモリ搭載）が1時間利用可能な計算機資源のため、1口は標準1ノード3,000時間分（≒約4ヶ月）に相当し、100CPUコアを15日や、100GPUを3.75日といった利用が可能です。
3. ストレージ課金
  TSUBAMEアカウント発行時に提供されるディスク容量（各アカウント毎25GB）以外にストレージを必要とする場合、1TB・1ヶ月当たり30 TSUBAMEポイントを必要とします。

Page Top

産業利用トライアルユースの定期公募日程
定期公募日程は共用促進事業のウェブページをご確認ください。最新の定期公募日程は、こちらをご参照ください。

TSUBAME共同利用　公募要領　別紙

author1 — Fri, 16 Mar 2012 04:39:15 +0000

別紙

提供する計算機資源と課金
本学の学内利用に提供する計算機資源とのバランスを考慮し、平成24年度はTSUBAME2.0の1年間に利用できる資源の最大30％をTSUBAME共同利用に割り当てます。
1. 計算資源の課金単位
  TSUBAME共同利用ではTSUBAMEの計算機資源の割振りは口数を単位としており、1口は3,000TSUBAMEポイントです。1 TSUBAMEポイントは標準1ノード（12CPUコア, 3GPU, 55.82GBメモリ搭載）が1時間利用可能な計算資源のため、1口は標準1ノード3,000時間分（≒約4ヶ月）に相当し、例えば1,000CPUコアを1.5日や、100GPUを3.75日といった利用が可能です。
2. ストレージ課金
  平成23年8月よりグループディスクの従量制課金が開始され、TSUBAMEアカウント発行時に提供されるディスク容量（各アカウント毎25GB）以外にストレージを必要とする場合は、1TB・1ヶ月当たり30 TSUBAMEポイントが課金されます。
3. TSUBAME共同利用の利用課金
  TSUBAME共同利用における各利用区分の利用課金を表1に示します。

TSUBAME e-Science Journal Vol.5 の発行

author1 — Tue, 21 Feb 2012 05:04:53 +0000

昨年(2011年)11月にシアトルで開催されたスパコンの分野では最高権威の国際会議 SC11において、TSUBAME を利用した研究成果がゴードンベル賞，Graph500，テクニカル・ペーパー等で高い評価を得ました。TSUBAME e-Science Journal Vol.5はこれらをSC11特集号として1冊にまとめました。

日本語版 英語版

バックナンバー Vol.1～Vol.4 : http://www.gsic.titech.ac.jp/TSUBAME_ESJ

日本語（前半）と英語（後半）を合冊して印刷した冊子をご希望の場合は郵送しますので、送付先の住所（学内の場合はメールボックス番号）、所属、氏名をtsubame_j@sim.gsic.titech.ac.jpへお知らせ下さい。

2012年2月28日
TSUBAME e-Science Journal 編集室

TSUBAME e-Science Journal 冊子の継続送付について

author1 — Tue, 08 Nov 2011 01:56:28 +0000

平成23年11月8日

TSUBAME e-Science Journal 冊子の継続送付について

学術国際情報センターでは、スパコンTSUBAMEを使って得られたさまざまな成果を広く示して行く目的でTSUBAME ESJ (e-Science Journal) を発行しています。Vol.4ができあがり冊子を皆さまにお送りしたところです。これまで本学の全教員の方に冊子をお送りしてまいりましたが経費削減のおり、次号からは希望者にのみ学内便で冊子をお送りすることにいたします。
TSUBAME ESJのpdf版については、日本語と英語に分離し

http://www.gsic.titech.ac.jp/TSUBAME_ESJ

に掲載しています。
次号以降も継続してTSUBAME ESJの冊子を送付希望の方は、大変お手数ですが

tsubame_j@sim.gsic.titech.ac.jp 宛に

をご記入の上、送信して頂けますようお願い申し上げます。
　（既に学内便でお返事頂いた方は必要ありません。）

学術国際情報センター TSUBAME e-Science Journal 編集室
編集委員長　　青木　尊之

High Performance Seismic Simulation with GPGPU

webmaster — Thu, 13 Oct 2011 08:57:25 +0000

GPGPUを用いた高性能地震動シミュレーション
SC11 Special Awards paper candidate
東京工業大学情報理工学研究科数理・計算科学専攻松岡研究室
http://matsu-www.is.titech.ac.jp/ja/contact

背景・目的

Tsubame 2.0に代表される大規模並列計算環境では、構成する計算機の台数も膨大なものとなり、計算ノードの故障発生確率が無視できないものとなってきます。そのため、一部の計算ノードが故障しても計算を継続できるようにする技術が重要となります。
このため、計算ノードの故障に備えてチェックポインティングと呼ばれる計算の途中経過を定期的に保存する処理を行うのですが、チェックポインティングにかかる時間が計算全体に占める割合も現状のシステムでは約25%と大きく、いかにして保存処理のコストを減らすかが、計算全体の高効率化にとって重要となっています。
本研究では、地震動シミュレーションの代表的なアプリケーションであるSPECFEM3DをTsubame 2.0に代表されるGPGPU環境に移植したプログラムを対象に、チェックポインティングの高効率化を行いました。

方法

本研究では、CUDA版SPECFEM3Dに対して、高効率チェックポインティング機構を実装しました。並列アプリケーションのチェックポインティング処理は、計算中のプロセスを止めてメモリ等のデータを保存する処理と、保存したデータをノード故障に巻き込まれないように別のノードと共有する処理に分かれます。GPGPUを用いたアプリケーションでは計算は主にGPUで実行されるため、計算途中では一部のCPUコアが使われておらず、処理能力に余裕があります。そこでチェックポイント処理の実行時間の大部分を占めるデータの共有操作をこの余剰CPUに任せることで、チェックポインティングの見かけ上の処理時間を短くすることができます。

評価

GPGPU版SPECFEM3Dを用いて、チェックポインティングを行わなかった場合、従来手法によるチェックポインティング(BLCR+Lustre)を行った場合、本研究手法によるチェックポインティング(FTI)を行った場合のそれぞれについて、実行速度の比較を行いました。
その結果、本研究手法は従来手法に比べてチェックポインティングのコストが低く、同じ問題を多数の計算機で解く際にも性能の劣化が起こりにくいということが示されました。

また、このGPGPU版SPECFEM3Dを用いて2011年3月11日の東北地方太平洋沖地震の高精度地震動シミュレーションを行いました。
これは、地盤の変動データをもとに対象地域を960×960のグリッドに分割して全国70か所の観測点における地震前後1500秒間の東西・南北・鉛直各方向における地面のずれを算出したものです。シミュレーション結果は実際の観測結果と精度良く一致していることが確かめられています。

福島県広野町の観測点における変位シミュレーションの結果