【Llama x Python】ローカルLLMを動かしてみた｜デロイト トーマツ ウェブサービス株式会社（DWS）公式ブログ

【Llama x Python】ローカルLLMを動かしてみた｜デロイト トーマツ ウェブサービス株式会社（DWS）公式ブログ

まえがき みなさんこんにちは、こんばんは、tsucciです。昨今のAIブームはすごいですよね。各クラウドベ...概要を表示 まえがき みなさんこんにちは、こんばんは、tsucciです。昨今のAIブームはすごいですよね。各クラウドベンダーから様々なサービスがリリース・アップデートされていて、世はまさに大AI時代という感じです。そんな中、若干逆行するようですが今回はローカルでLLMを動かしてみたいと思います。 動作環境 申し訳程度にメモリを増設してます。 ライブラリ Python 11.x llama.cpp llama-cpp-python huggingface-hub Llama Meta社が開発した大規模言語モデル（LLM）です。無料で商用利用可ということから今回採用しています。 llama.cpp CPUだけで（GPU不要で）LLMを動かすためのプラットフォームです。今回検証機がMacなので導入します。 llama-cpp-python C++で書かれた「llama.cpp」をPythonで動かすためのバ