GPTなどの言語生成モデルやStableDiffusionなどの画像生成モデルに代表される生成AIはこれからの社会に大きな変革をもたらす技術として期待されています。近年の基盤モデルと呼ばれるものは、膨大なデータで事前学習を行うことで様々なタスクに応用できるようになってきています。ただし、このような事前学習には膨大な計算資源が必要になります。
GPT-Fugakuプロジェクトでは、東京工業大学・学術国際情報センターの横田理央教授がリーダーとなり、HPCIの政策対応枠を利用し、東北大学、理化学研究所、富士通などが協力することで、スーパーコンピュータ「富岳」上で大規模な事前学習を行うための並列化・高速化技術の開発を行います。2023年8月11日(金)のTV東京の「ガイアの夜明け」では、このような取り組みを取り上げ、横田教授が理研や富士通の共同研究者らと議論する場面やサイバーエージェントとデータ利用に関する交渉をする場面などが放映されました。
リンク
https://www.hpci-office.jp/application/files/8616/8471/1584/press_20230522.pdf
https://www.tv-tokyo.co.jp/gaia/