TL;DR Q: HPCプログラマの書くコードってなんで古臭いの？ A: そうしないと性能が出なかったから はじめに スパコンを使ってそれなりに長いこと研究をしています。初めてスパコンを使ったのは今から25年くらい前です。発展の早い世界ですので、昔と今ではだいぶ違ってきています。この前、スパコンを使う時の「常識」がすでに現在では常識ではなくなっているっぽいことを知り、私も「そっち側」になったのか、と感慨深くなりました。以下は、HPC業界の語り部に片足を突っ込んだおっさんの戯言です。 なお、以下では主に「京」の話をするため、富士通のC++コンパイラに文句を言う形になりますが、富士通が悪いのではなく、昔のスパコンに搭載されていたC++コンパイラはどれもかなり酷かったということはあらかじめ言っておきたい気がします。IBMのコンパイラとかも酷かったし、なんならIntelのコンパイラもバグだらけだっ

LLVMやSwiftを作ったChris LattnerがCEOをやっている会社が、Pythonの使用感とC言語並の性能を併せ持つ言語としてMojoをアナウンスした。 まだ手元で試せる状態でリリースされてはいないが、最大35000倍Pythonより速いという。 Mojo🔥 combines the usability of Python with the performance of C, unlocking unparalleled programmability of AI hardware and extensibility of AI models. Also, it's up to 35000x faster than Python 🤯 and … deploys 🏎 pic.twitter.com/tjT09U4F80— Modular (@Modular_AI) May

This PR introduces YJIT, a just-in-time compiler built using a Lazy Basic Block Versioning (LBBV) compiler architecture. For more details about the technique, please refer to Maxime’s published paper and recorded talks: ECOOP 2015 paper: https://arxiv.org/pdf/1411.0352.pdf ECOOP 2015 talk: https://www.youtube.com/watch?v=S-aHBuoiYE0 RubyKaigi 2021 talk: https://www.youtube.com/watch?v=PBVLf3yfMs8

YJIT: Building a New JIT Compiler for CRubyA team of skilled engineers from Shopify and GitHub on YJIT, a new Just-in-time (JIT) compiler built inside CRuby. The 1980s and 1990s saw the genesis of Perl, Ruby, Python, PHP, and JavaScript: interpreted, dynamically-typed programming languages which favored ease of use and flexibility over performance. In many ways, these programming languages are a p

はじめに 深層学習を軸とした研究開発には大きな計算資源が必要です。 PFNでは深層学習ワークロードに特化した計算機資源として深層学習用アクセラレータであるMN-Coreを開発し、実際に弊社のスーパーコンピュータであるMN-3に搭載し運用を行っています。本記事では、MN-Coreを利用した深層学習ワークロード高速化のためのコンパイラの概要及び、ワークロード高速化の実例について紹介します。 MN-Coreの概要とコンパイラの必要性 MN-Core(https://www.preferred.jp/ja/projects/mn-core/)とは深層学習ワークロードに特化したアクセラレータです。深層学習において頻出する畳み込み演算を高速化するために、多数の高効率な行列演算器ユニットを階層的に束ねた構造を持っています。各階層間においては縮約/放送など深層学習ワークロードでよく用いられる集団通信を行う

Personal Company ( 前職 ) goccy/go-yaml knocknote/octillery goccy/go-graphviz knocknote/rapidash goccy/go-json knocknote/eevee goccy/go-reflect knocknote/vitess-sqlparser goccy/go-jit HPDDZ !HPDDZ�� � .FSQBZ� �"SDIJUFDU� ��������d .BTBBLJ�(PTIJNB� �HPDDZ�

watanabe-chiba-report.md 2.4 富士通C++コンパイラの最適化機能の改善について 東京大学物性研究所 物質設計評価施設 渡辺宙志 富士通株式会社 次世代テクニカルコンピューティング開発本部 千葉修一 ※ 本稿はメニーコア時代のアプリ性能検討WG 成果報告書にて公開された内容を整形したものです。 2.4.1 はじめに HPC分野においては、FortranないしC/C++言語が広く使われている。Fortran、C言語、C++言語のいずれも活発に仕様が改定され、現在も発展し続けている言語ではあるが、数値計算向けの「普段使いの言語」としては、おそらくPythonやJuliaなどの方が広く使われていると思われる。特にPythonは、昨今の機械学習ブームの牽引役として広く使われているようである。今後、PythonやJuliaといった言語によるスパコン利用も増えていくと思われる

日本を離れる日、成田空港の国際線ターミナルでCPU実験の記事を投稿してからあっという間に7ヶ月が経ちました。 日本人の知り合いが一人もいない状態でジュネーブに単身移住しアゼルバイジャン人とシェアハウスしながらヨーロッパ人しかいないCERNのソフトウェアチームでブルガリア人の上司を持ちC++標準化委員のリーダーと働くとはどういう感じなのかが伝われば幸いです。 ちょっと前ですが類さんに関連する話を収録していただきました。 15. CERNでのソフトウェアエンジニアリング (高橋祐花) 仕事編 なんの仕事してるの？ 仕事は"どう？" 生活編 生活が落ち着くまでに苦労したこと 平均的な平日 週末は何してるの？ ジュネーヴぐらし！ 学びと友人 追記 仕事編 ウェブが生まれたところがそこら辺にある。 なんの仕事してるの？答えるのがめんどくさい時の返答 物理解析に使うROOTというソフトウェアを開発して

Facebookが、バグを発見し自動的に修正するよう開発した新しいツール「SapFix」を開発している。このツールは、Facebookの「Android」版アプリケーションを利用しているデバイスに安定したコードのアップデートを提供するために利用される。Facebookが把握している限り、人工知能（AI）を利用したテストおよびデバッグツールをこれだけの規模で実用向けに実現する初めてのものだという。 SapFixはさまざまな種類のバグとソフトウェアに対応できるよう開発されているため、これによって広範な企業が、高品質なコードの作成を高速化できるようになる可能性がある。 この新ツールは、「Sapienz」があってもなくても実行可能だ。SapienzもFacebookが開発したインテリジェントな自動ツールで、ソフトウェアをテストしてバグを検知する機能を備える。Facebookは「SapFix」を使用

Linuxバイナリを最適化して性能を向上させる「BOLT」、Facebookがオープンソースで公開。言語やコンパイラに依存せず高速化 Facebookは、Linuxバイナリの内部配置を最適化することによりCPUのキャッシュ効率などを向上させ、実行速度を改善する「BOLT」をオープンソースで公開しました。 BOLTは「Binary optimization and layout tool」の略とされています（もしかしたら、より速く走るという意味でウサイン・ボルト氏にかけているのかもしれません）。 BOLTは言語やコンパイラに依存せず、ソースコードも不要 BOLTのおもな効果は、Linuxバイナリの実行状況をperfコマンドで取得し、高頻度で実行されている部分などを判別した上で、そうした部分がCPUキャッシュにヒットしやすいようにバイナリの内部配置を改善することなどで実行速度を向上させることと

PostgreSQL Begins Landing LLVM JIT Support For Faster Performance Written by Michael Larabel in LLVM on 22 March 2018 at 08:19 AM EDT. 23 Comments The widely-used PostgreSQL database software may soon become much faster thanks to a work-in-progress LLVM JIT back-end that has begun to land. A long-running project has been JIT-compiling SQL queries in PostgreSQL by making use of LLVM's just-in-time

The English version of this article is available here: medium.com 2/4(日)に、去年のRubyKaigiが終わった直後の新幹線で開発を始め10月に公開したJITコンパイラをRubyのtrunk (2.6.0-dev) にマージし、昨日TD Tech Talk 2018で以下のような内容の発表をしました。 speakerdeck.com まだそれほど速くできていないということもあり、私はTwitterでのみ共有して満足していたのですが、海外の方がいくつか記事を書いてくださいました。 Playing with ruby's new JIT: MJIT - John Hawthorn Ruby’s New JIT – Square Corner Blog – Medium とても丁寧に書かれているので、私の記事がわかりにくければ