LLM推論にGPUは1つでいい？FlexGenについてまとめてみた | DOORS DX

LLM推論にGPUは1つでいい？FlexGenについてまとめてみた | DOORS DX

このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Dat...概要を表示 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、LLMをお手元のPCで扱ってみたい方々に知っていただきたい、2023年2月にリリースされたLLMの処理を行うための生成エンジン「FlexGen」を解説します。 こんにちは。アナリティクスサービス部の杉山です。 現在大変注目を集めているChatGPT*1、多くの方が使っていることかと思います。ChatGPTは、大規模言語モデル (Large Language Model; LLM) を用いたAIチャットボットの１つです。この分野の研究や開発はここ最近で大きく発展しています。 そもそも、LLMとは何かというと、大量のテキストデータを学習させた自然言語処理モデルにな