一昔前まではグラフィックボードのメイン用途はゲームなどの3Dグラフィック処理でしたが、近年では「ローカルでAIで動作させる」ということを目的にグラフィックボードを選択する事例も増えています。大量のNVIDIA製グラフィックボードやApple製チップで大規模言語モデル「LLaMA 3」の推論処理を実行した際の処理性能をまとめたウェブページ「GPU-Benchmarks-on-LLM-Inference」を見つけたので、内容をまとめてみました。 GitHub - XiongjieDai/GPU-Benchmarks-on-LLM-Inference: Multiple NVIDIA GPUs or Apple Silicon for Large Language Model Inference? https://github.com/XiongjieDai/GPU-Benchmarks-on-

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

本記事では、LLMの内部で発見された驚くべき構造的特徴を紹介します。 近年、スパース・オートエンコーダー（SAE）という技術の登場により、これまで「ブラックボックス」と呼ばれてきたLLMの内部構造を詳細に観察することが可能になりました。 研究者たちは、LLMの中に存在する「概念」を表す特徴点が、実は高度に組織化された構造を持っていることを発見し、その解明を進めています。 重要なお知らせ：AI分野のお仕事マッチングサービス「AIDB HR」を開始しました！登録後はオファーを受け取るだけのシンプルなサービスです！現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。 参照論文情報 タイトル：The Geometry of Concepts: Sparse Autoencoder Feature Structure 著者：Yuxiao Li, Eric J. Michaud

はじめに 自分のPCで動かすLLMはなんといっても無料で回数制限なく使えるのが良いですね。 MetaのLlama 3やGoogleのGemma 2などのLLMを動かすには、LM StudioやOllamaが簡単で便利です。今回は、それぞれの使い方を紹介しますので、お好きな方で試してみてください。 個人的には、新しいモデルを試す時はLM Studioで、普段使うときはOllamaという感じに使い分けています。 環境 Mac mini Apple M2 メモリ 16GB LM Studio 環境構築、モデルのダウンロード、チャットしてみる、というところまでを簡単に実現してくれるのはOllamaと同じですが、LM Studioでは、HuggingFaceにあるLLMモデルを検索してダウンロードできます。検索結果では自分のPCスペックで実行できそうかも色別に表示してくれます。UIで簡単にできるのは

Cursor の Pro 版でサポートされる AI 機能は非常に強力であり、無料版と比較して多くのメリットがあります。しかし、個人開発者や学生など予算に限りがある人にとっては、Pro 版の利用は難しい場合があります。 本記事では、Cursor の無料版で Gemini や GitHub Copilot を設定することで、Pro の使用感に近付ける方法を紹介します。 Gemini は無料枠があります。 GitHub Copilot は基本的に有料ですが、学生・教職員や OSS 開発者への免除があるため、無料で利用できる場合があります。 概要 単純に VS Code を Cursor の無料版に置き換えた場合、差分としてよく使う機能は以下の通りです。 AI Chat でのメンション：Codebase (RAG)、Git、ファイル指定 RAG を別途構築する手間がないのは便利です。 Git 機能

こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く（バックエンドとの通信を再現してデータを取得） LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 OpenAIが新たに強力な推論モデル「OpenAI o1」と、高速で安価な推論モデル「 OpenAI o1-mini」を発表しました。o1は従来モデルより時間をかけて考えることで、複雑なタスクの正答率が大幅に向上します。 国際数学オリンピック予備試験での正答率はGPT-4oの13%から83%に上昇し、安全性テストでも3倍以上の高いスコアを記録しました。o1は ChatGPT PlusとTeamユーザーに提供され、APIでもプレビュー版の利用が可能となります。 Adobeが動画生成AI「Adobe Firefly Video」を発表しました。テキストや画像から動画を生成するだけでなく、角度、モーション、ズームなどの豊富なカメラコントロールを活用して、

LLMのチャット以外の可能性 ChatGPTなどで話題のLLM（Large Language Model）、用途としてはチャットボットとしての使われ方が多いですが、チャット以外にも使える可能性を秘めています。 具体的には、生成AIでロボット制御をする「RT-1」や、マインクラフトをプレイする「Voyager」などがあります。これらの詳細の解説は以下記事参照ください。 今回は、夏休みの自由研究（と呼べるほど高尚なものではないですが）として、手軽に分かりやすい例として、LLMでマリオをプレイできるか試してみることにしました。 LLMでマリオをプレイ マリオに関しては、以前に深層強化学習で全ステージクリアにチャレンジしたことがあります。 複数人の有志の協力があり、ループを多用する8-4を除いたステージを全てクリアすることができました。ただ、ステージごとにシミュレータで半日以上かけて学習させる必要

この時はそれぞれ単独のプロンプトで小説家と編集者を演じさせましたが、今回はもうすこしシステマチックに、段階を踏んで小説を生成させてみます。 プロンプトの検討等にはkgmkm氏のリポジトリや記事を参考にさせていただきました。この場を借りてお礼申し上げます。 仕組みを相談するのにClaude (3.5 Sonnet)とやり取りをしていましたので、この記事の草稿も書いてもらいました。所々、なんとなく冗長だったり文体が違ったりしますが、面倒なのでそのままにしてあります（すみません）。 生成スクリプト生成スクリプトとプロンプト定義はgistに置きました。 https://gist.github.com/kohya-ss/68d41a9720bfbdfd87869ec970142f4b 概要近年、大規模言語モデル（LLM）の発展により、AIによる文章生成の可能性が大きく広がっています。今回はローカル環

自分の気に入るゲームが生成されるまでひたすらLLMを回す。これを仮にガチャ指向ゲーム開発と呼ぼう。 Claude 3.5 Sonnet のような高性能なLLMの登場で、LLMに簡単なゲームのアイデア作成からその実装までをさせることが可能になってきた。LLMから出てくるゲームの多くは、凡庸だったり、バランスが悪かったり、正しく実装できていなかったりする。でも、繰り返しLLMにゲームを生成させることで、面白い挙動をする、ゲーム一歩手前のコードを、稀に得ることができる。これを得るまでの行為がゲームガチャだ。 例えば、 上記のプロンプトに「fragile pillars」というテーマを与えると、以下のゲームを提案してくる。 Pillar Paraglider: Control a paraglider flying through a course of fragile pillars. The

Novel llm

LLMの応答に柔軟性・拡張性をもたせる為の取り組みについてです。 ・基本プロンプト ・RAGで埋め込む知識 ・LLMのテキスト応答と同時に生成する音声 などを柔軟に切り替えてユーザーの「痒いところに手が届く」を実現する為に、どのような仕組みを用意しているのか紹介します。

先日、個人開発していたzenncastというWebサービスをリリースしました。 Zennでトレンドになっている記事を、毎日AIが10分のラジオにして届けてくれるというサービスです。 ありがたいことに公開後はたくさんの方に試してもらえ、技術的な質問も多数いただきました。 このZennではzenncastの技術構成や仕組みを紹介します（プロンプトつき）。 作ったもの まずはエピソードを一つ選んで1分くらい聴いてみてください！ AIラジオの雰囲気が掴めると思います。 主な機能・特徴 毎朝10分のラジオを生成 Zennでトレンドになっている記事を要約して紹介 お便りを投稿すると、翌日のエピソードでAIパーソナリティが拾ってコメントしてくれる BGMをつけて爽やかな聴き心地 これらのステップは人の手を介さずすべて自動化されています。 Spotifyなどの各種プラットフォームへの配信はSpotify

以下の記事が面白かったので、簡単にまとめました。 ・Hello GPT-4o 1. GPT-4o「GPT-4o」 (「omni」の「o」) は、人間とコンピュータのより自然な対話に向けた一歩です。テキスト、音声、画像のあらゆる組み合わせを入力として受け入れ、テキスト、音声、画像の出力のあらゆる組み合わせを生成します。 音声入力にはわずか232ミリ秒 (平均320ミリ秒) で応答できます。これは、人間の会話における応答時間とほぼ同じです。英語のテキストおよびコードでは「GPT-4 Turbo」のパフォーマンスに匹敵し、英語以外の言語のテキストでは大幅に改善されており、APIでははるかに高速で50%安価です。「GPT-4o」は、既存のモデルと比較して、特に視覚と音声の理解に優れています。 2. モデルの機能「GPT-4o」以前は、音声モードを使用して、平均2.8秒 (GPT-3.5) および5

筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統

今日はこれを動かします。 基本的には上記の冒頭の注意事項に従えば実行までできるのですが、ローカルGPUをできるだけ使うオプションに試行錯誤が必要だったので、その備忘録です。