米OpenAIの大規模言語モデル（LLM）・GPT-4は今、世界を大きく塗り替え続けている技術の一つだ。世界各国の企業がこぞってLLMの開発を進めている。特にGAFAなどの巨大企業は、その膨大な資源を使ってすでにいくつものLLMを世に放っている。 そんな中、日本では理化学研究所と富士通、東京工業大学、東北大学が、スーパーコンピュータ「富岳」を使ったLLMの研究を今まさに進めている。学習手法の研究からデータの法的な扱いまで幅広く検討し、日本のLLM開発の基盤を作るのが目的だ。 深層学習といえば、今ではGPUを使うのが一般的になっている。しかし富岳はそのGPUを搭載していない。日本にはGPU搭載スパコンも存在するのに、なぜ富岳を使ってLLMを研究するのか。 今回は富士通研究所・コンピューティング研究所の中島耕太所長と白幡晃一さんに、富岳を使ったLLM研究について、その意義を聞いた。富岳は確かに

最新のPC／スマホ／デジタルガジェットのレビュー＆ニュース情報が満載！難しいことを分かりやすく、最新の情報を楽しくお届けする、総合IT情報サイト。

2021年11月のGreen500で、39.38GFlops/Wというスコアを出し、プリファードネットワークス(Preferred Networks:PFN)は業界を驚かせた。 次の表はGreen500の上位10システムをリストしたもので、1位はPFNのMN-3スパコンで電力効率は39.38GFlops/Wである。そして、2位はSamsungのSSC-21 Scalable Moduleで33.98GFlops/Wである。2位以下のシステムが2.5GFlops/W未満の僅差で並んでいるところで、1位と2位がその2倍の5.0GFlops/Wの差は驚異的である。 PFNのMN-3スパコン (出典:PFN資料) また、MN-3は前回のGreen500の時と同じハードウェアでありながら、ソフトウェアだけの改善で29.7GFlops/Wから39.38GFlops/Wまでエネルギー効率を改善したのも驚

ISC 2021において、MicrosoftのMatthias Troyer博士が「Quantum Computing: From Academic Research to Real-World Applications」と題する基調講演を行った。 Troyer博士は　約20年間スイスのETH ZurichのComputational Physicsの教授を務めていたが、Leave of Absenceで休暇を取り、2017年にDistinguished Scientistという肩書でMicrosoftに移っている。 なお、ETH Zurichは2021年のTimes Higher Educationでは世界で14位にランキングされている名門大学である。ちなみに、東大は36位である。 図1 ISC 2021において“Quantum Computing: From Academic Rese

TaChyonアーキテクチャのプロセサ VP400スパコンの100倍以上の性能を出すには、多数のベクトル演算器が必要であり、膨大な物量になる。しかし、寸法がVP400の100倍になってしまうと、配線遅延などが多くなり、性能が出せない。富士通のVP100/200/400スパコンは汎用機のMシリーズのプロセサをベースにしており、IBM 360アーキテクチャの命令セットを使っていた。しかしIBM 360命令セットは複雑で、多くのハードウェアを必要とするので、スパコン用に「TaChyon」という新規な命令セットを考案して、使用することにした。 TaChyonアーキテクチャの命令は64bit長で、この中に通常命令なら3命令を詰め込んでいる。IBM 360アーキテクチャと比較すると1.5倍の命令密度となっている。 TaChyonアーキテクチャとすることにより、命令実行ユニットが簡素になるだけでなく、命

1つの中性子ヒットで、どのようにエラーが起こるかを見ると、長方形の領域でエラーが起こっているRectangular、直線状にエラーが起こっているLine、ばらばらに起こるRadom、1bitだけがエラーするSingleなどがある。なお、この図には描かれていないが、マトリクスの3次元の隣接領域にエラーが集中しているケースをCubicと分類している。 1個の中性子ヒットで1bitのエラーとなるケースは少なく、大部分は複数ビットのエラーとなる。どのような位置のビットがエラーになるかで、Rectangular、Line、Random、SingleとCubicに分類する そして、各ベンチマークのエラーをこの5種のエラーパターンごとに分類したのが次の図である。色分けは上からCubic、Rectangular、Line、Single、Randomとなっている。ただし、各棒グラフにすべての分類が含まれてい

This domain may be for sale!

2016年6月　スパコンの世界ランキングTOP500で 突如No.1に躍り出た神威 太湖之光(Sunway Tianhu Light) 中国勢を除けばトップとなる　Titan - Cray XK7 , Opteron 6274 16C 2.200GHz, Cray Gemini interconnect, NVIDIA K20x　に対して４倍の絶対性能を示した。 絶対性能計測を指標とするTOP500ベンチに対する批判の声を反映して、電力効率ランキング Green500 がある。 しかし、その地球に優しいスパコン・ランキングGreen500でも第3位。 本当に驚異的なのはスパコンとしての性能ではなく、枯れたテクノロジーの水平思考とその組み合わせだけで構築した独自アーキテクチャだった。 枯れたCPU単品のスペックから見ていこう クロックは1.45GHzと、スマホ未満の低クロック。 プロセスも4

GTC 2015においてDDN(Data Direct Networks)のJeff Sissili氏が同社のバーストバッファテクノロジについて発表を行った。Data Direct Networksという社名になじみのない読者も多いかと思うが、同社はスパコン用の並列ファイルシステムのトップメーカーであり、独特の赤い筐体は多くのスパコンセンターで目に付く存在である。 従来のスパコンは多くの計算ノードを持ち、それらの計算ノードの必要とするディスクI/Oに耐えるR/Wバンド幅を持つディスクを設置している。京コンピュータで言えば、3階は計算ノードの筐体で埋まっているが、1階はディスク筐体で占められており、1TB/sを超えるR/Wバンド幅を持っている。 DDNの次世代ストレージのアプローチは、計算ノードと物理的なストレージを切り離して、少ない数のストレージで必要な性能を実現するというものである。 D

GPUやSSDなど民生品で利用される汎用の部品をいち早く取り入れることで、構築費用を安価に抑えながら、世界最高峰のスーパーコンピューターに比肩する性能を達成してきた東京工業大学 学術国際情報センターの「TSUBAME」シリーズ。この快挙実現の背後には、今後の技術動向を見通す“読み”の鋭さがある。2020年そして、その先の2025年以降に待ち受ける「ポストムーア」時代にスーパーコンピューターに搭載される技術をTSUBAMEシリーズの開発リーダーである同大学 教授の松岡氏が解説する。（本誌）

2014年10月9～10日に東京都港区で開催されたヴァイナスのユーザーカンファレンスにおいて、東京大学生産技術研究所の加藤千幸教授が登壇し、「大規模流体解析の産業応用～現状と今後の展望～」のタイトルで講演した。 スーパーコンピュータ（スパコン）の性能向上が限界を迎えることを指摘した上で、この先、産業界で使えるスパコンの規模や、それをCFDでどのように活用するか例を示した。 CFDの発達は、コンピュータが順調に進化してきたことによるところが大きい。スパコンが本格的に使われだして以来、その性能は、1990年代にGFLOPS（ギガフロップス）、2000年代にTFLOPS（テラフロップス）、2010年代にPFLOPS（ペタフロップス）と、「10年に1000倍」（または「3年に10倍」）のペースで着々と向上してきた。だが「このまま増えればハッピーだが、実はそうではない」と加藤氏は言う。 2012年に

富士通は2014年6月23日、ドイツで開催中のスパコン国際会議「ISC'14」で、現行機「PRIMEHPC FX10」の後継となるスパコン「Post-FX10（仮称）」の詳細を明らかにした（写真1、2）。現在、実機で性能を評価中で、2015年に出荷を始めるという。

このキャッシュを使うことにより、ゲームなどのグラフィックス性能が20～75%向上するという。また、このキャッシュは汎用のL4キャッシュで、GPUだけでなく、CPUやメディアエンジンも利用できるとのことで、これらの処理でも性能向上が期待できる。 そして、Haswellでは、トランザクショナルメモリをサポートするTSX命令が追加された。トランザクショナルメモリでは、ロックによる排他制御を行わないで、共用のメモリ資源を使ってしまう。しかし、トランザクショナルメモリ機構が、他のプロセサからのメモリアクセスが干渉しているかどうかを監視しており、干渉がなければ処理は成功、干渉があった場合は処理を取り消して再度やり直すというやり方で、共通資源のアクセスの干渉が起こらないようにしている。 このように、トランザクショナルメモリはトランザクション処理に威力を発揮する機構であると思い込んでいたのであるが、今回の