https://t.co/q01cRabCyw な、なんだこの本は...！ というのはさておき、初の商業出版で三章を書かせていただきました！日経 BP さんとの共著です！ もしよろしければお手に取っていただけるとうれしいです。年末年始、もしお時間がありましたら是非！#localllmbook — ぬこぬこ (@schroneko) December 14, 2024 2024 年 10 月追記 記事執筆から半年経ちまして、ライブラリやアプリのデファクトスタンダードが定まってきました。扱っているモデルも古くなっています。本当に流れがはやいですね。本記事も逐次更新していきますので、引き続きご覧いただければ幸いです。 アップデート Ollama→かなり使われるようになり、ローカル LLM を始めたい方にはうってつけです。 Open WebUI→Ollama が利用されることが多くなり、UI とし

GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよ ご覧あれ やり方メモ from transformers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from transformers import pipeline, set_seed generator = pipeline('text-generation', model='gpt2') m= generator.model x= m.generate() y= m.forward(x) image = make_dot(y.logits, params=dict(

国土交通省が「Cities: Skylines」のMOD“SkylinesPLATEAU”を公開。日本の3D都市モデルを反映したマップを作成できる ライター：蒼之スギウラ 2023年5月22日，国土交通省主導による“Project PLATEAU”が，Paradox Interactiveの都市建設シム「Cities: Skylines」で利用できるMOD「SkylinesPLATEAU」を，Steamワークショップで公開した。 #PLATEAU GitHubにて、都市育成シミュレーションゲーム"Cities:Skylines"のMOD「SkylinesPLATEAU」を公開しています！ 現実の都市データを舞台としたまちづくりシミュレーションを体験することができます。 是非ご活用ください！https://t.co/6E8GEJLNsV pic.twitter.com/AejxaWx5jk—

Raspberry Piは、手のひらサイズの小型コンピュータです。各種センサーと組み合わせることで多彩なIoT機器を作ることが出来、年々注目を浴びています。 コロナ禍では半導体不足の影響もあり、国内では売り切れが相次ぐ事態となりました。徐々に供給も回復して来ており、今後ますます目が離せないデバイスです。 この記事では、

2023年5月11日に開催されたGoogleの開発者向けイベント「Google I/O 2023」で、Googleが蓄積してきた3D地図データを3Dモデルとして提供するシステム「Photorealistic 3D Tiles」が発表されました。このPhotorealistic 3D TilesとチャットAI「ChatGPT」、ゲームエンジン「Unreal Engine 5」を組み合わせて開発された「紙飛行機で世界中を飛び回れるゲーム」のデモ映像が公開されています。 Unreal Engine 5 with Google Photorealistic 3D Tiles & ChatGPT - YouTube 画面内に真っすぐ飛び続ける紙飛行機が表示されています。 画面内に表示された入力欄に「私をオランダの中心部に連れてって」と入力。 すると、紙飛行機がワープ空間に突入しました。 ワープ空間を

CyberAgentが日本語LLMを公開していたので、とりあえず動かしてみました。 サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供― | 株式会社サイバーエージェント モデルは次のように6サイズ提供されています。 ※ Rinna社も同時に新しいモデルを出したので試しています。 Rinnaの新しい3Bモデルを試してみる - きしだのHatena open-calm-small(160M) まずはopen-calm-small。160Mパラメータです。 このあたりは動作確認用なので、内容は気にしない。 GPUメモリは1.3GBくらいの消費です。 open-calm-medium(400M) 次にopen-calm-medium。400Mパラメータです。 このへんも細かいことは気にしないけど、なんかま

はじめに 近年、深層学習を用いた自然言語処理技術の進展が目覚ましいです。 その中でも、GPT-3をはじめとする大規模言語モデル（LLM）には大きな可能性を感じています。 最近ですと、AI技術者以外にも大きなインパクトを与えたChatGPTが記憶に新しいでしょう。 今後もLLMの進化は止まらないと予想されており、私たちもどうやって活用するかを具体的に検討すべきフェーズに入ったのではないでしょうか。 しかし、LLMを実業務に適用するとなると、越えなければならない課題がいくつも出てきます。 今回は、以下にあげた第2・第3のハードルを越えるために役立つlangchainというライブラリをご紹介します。 第1のハードル：機密データの扱い LLMはOpenAPIのGPT-3等、モデル自体は公開されておらずWebAPIだけが提供されているというパターンが多いです。 そのため、機密データを社外に送信すると

どうもこんにちは。最近、大規模言語モデル（LLM）の個人開発に取り組んでいる@kun1em0nと申します。この度、最近話題のChatGPTの最新モデルGPT-4を無料で使用できるアプリを作成したので公開いたします。今回アプリを無料で公開する意図についてこの記事で説明したいと思います。 Japanese-Alpaca-LoRAの作成前回の記事ではスタンフォード大学が作成したStanford Alpacaの日本語対応モデル Japanese-Alpaca-LoRAを作成し公開した話を紹介しました。 このモデルの作成に使ったデータの大元（Alpacaデータ）はText-davinci-003というOpenAIサービスで出力した結果になりますが、OpenAIの利用規約ではコンテンツ生成者はOpenAIサービスで出力した結果を競合モデルの開発用途に使用してはならないと記載されています。ただ、コンテン

Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ

最近「ChatGPT」というワードがSNSを賑わしているようです。 筆者は技術に対しては非常にミーハー(？)なので、ChatGPTが何なのか？また、どれほど凄いのか試してみたくなりました。 さっそく ChatGPT を使ってみたいと思います。 (ChatGPTの利用登録の方法については、解説サイトがたくさんありますのでそちらを参照ください。Googleアカウントを持っていればGoogleアカウントと連携してログインすることも可能です) ChatGPTに登録してログインすると以下のような画面が表示されます。 Examplesを使って、いくつかの問いかけに対する応答を確認することが出来ます。 試しにExamplesの一番上にある「Explain quantum computing in simple terms」を選択して ChatGPT へ問いかけをしてみます。 (問いかけの内容は「量子コン

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価す

はじめにStable DiffusionだとかChatGPT、LLMみたいな「大規模モデル」って考え方が機械学習業界から出て、スケーリング則に基づいてまだまだ精度が上がるとされている昨今。 （スケーリング則はどうのこうの諸説あるが）さておき、「マルチモーダルに」「あらゆるデータを学習した」「大規模なモデル」が今後数年リードしていく事は間違いないと思う。 そんな中で、我々機械学習エンジニアやデータサイエンティスト、アナリスト、データエンジニア、MLOpsエンジニアみたいな、いわゆるAI屋として働いている人たち、皆が所属するAI組織ってどうなっていくのかな、という話を書いてみる。 データの民主化AIの民主化とデータの民主化AI業界では「AIの民主化」というワードがある。 便宜的にAIというワードが広く使われるようになった辺りで出てきたワードで、OSSやプラットフォーム、ハードの発展によって「A

こんにちは、画像生成AIでひたすら猫のイラストを生成している じょじお（＠jojio‗illust）です。 この記事にStable Diffusionのモデルをぼちぼちとまとめています。随時更新予定です。

1. OpenAI APIのモデル「OpenAI API」は、用途に応じて「GPT-3.5」をはじめとする様々なモデル を提供しています。 ・GPT-3.5 : 自然言語とコードを理解および生成する最新モデル。 ・DALL-E : 自然言語から画像を生成・編集するモデル ・Whisper : 音声をテキストに変換するモデル ・Embeddings : 埋め込み (ベクトル表現) を生成するモデル ・Codex : コードを理解および生成するモデル ・Moderation : センシティブおよび 安全でない文章を検出するモデル ・GPT-3 : 自然言語を理解および生成する旧モデル 2. GPT-3.5「GPT-3.5」は、自然言語とコードを理解および生成する最新モデルです。最も高性能で費用対効果の高いモデルは、チャット用に最適化されていますが、既存タスクにも適している「gpt-3.5-tu

1. GPT-3モデル「OpenAI API」は、用途に応じて様々なGPT-3モデルを提供しています。 ・GPT-3 : 自然言語を理解し生成するモデル ・Codex : 自然言語からコードへの変換 および コードを理解し生成するモデル ・Content filter : センシティブ および 安全でないテキストを検出するモデル ・Embeddings : 埋め込み (ベクトル表現) を生成するモデル 2. GPT-3「GPT-3」は、自然言語を理解し生成することができるモデルです。 性能の異なる4つの主要モデルを提供しています。Davinciは最も高性能、Adaは最も高速なモデルになります。 2-1. text-davinci-003「GPT-3」の中で最も高性能なモデルです。他のモデルで可能なあらゆるタスクが可能で、多くの場合、より高い品質、より長い出力、より良い命令追従性が得られます

トラウマを残した「労働搾取」 米「タイム」誌がテクノロジー業界の闇を暴き、大きな話題になっている。 問題となっているのは、高い文章生成能力が注目される、AI搭載チャットボットの「ChatGPT」。その生みの親であるAI企業「オープンAI」がパートナー企業を通じ、時給2ドル以下でケニア人労働者を雇っていたことがわかったのだ。 オープンAIはマイクロソフトから100億ドルの出資を受ける可能性が報じられるほど、いまもっとも注目されている企業だ。いったい何が起きているのか。 オープンAIが外注先として依頼していたのは、米サンフランシスコに拠点を置くサマ社。同社はケニアやウガンダ、インドの人材を雇い、グーグルやメタ、マイクロソフトなどの顧客向けに、有害なネット情報を選別する「データのラベリング作業」を実施していたという。 ケニア人の労働者たちは、データのラベリング作業の過程で、処刑や性的虐待など極め

株式会社レアゾン・ホールディングス(本社：東京都新宿区、代表取締役：渡邉 真)は世界最高レベルの高精度日本語音声認識モデルおよび世界最大19,000時間の日本語音声コーパス※「ReazonSpeech」を公開いたしました。 2023年1月18日 株式会社レアゾン・ホールディングス(本社：東京都新宿区、代表取締役：渡邉 真)は世界最高レベルの高精度日本語音声認識モデルおよび世界最大19,000時間の日本語音声コーパス※「ReazonSpeech」を公開いたしました。 ※音声コーパス: 音声データとテキストデータを発話単位で対応付けて集めたもの。音声認識モデルを作成する材料として使用され、その規模と品質が音声認識の精度を大きく左右する。 ※2「ReazonSpeech」を用いた文字起こしサービスをプロジェクトwebサイトにて実際に試すことができます。 プロジェクトwebサイト：https://

ドローンを使うと上空から建造物や街の様子を撮影し、ソフトウェアを利用して3Dマップを作成することができますが、場所によってはドローンを飛ばすことが禁じられている場合があります。そこで、自転車のヘルメットに取り付けられた360度カメラだけを使い、ドローンを使わないで3Dマップを作成する方法について、ソフトウェアエンジニアのJake Coppinger氏が解説しています。 Creating aerial imagery with a bike helmet camera (GoPro) and OpenDroneMap - Jake Coppinger https://jakecoppinger.com/2022/12/creating-aerial-imagery-with-a-bike-helmet-camera-and-opendronemap/ ドローンは街路の調査やマッピングに最適で

データをシリアライズするには、独自のフォーマットを定めるよりも、基本的な定義済みの構造を組み合わせてフォーマットを作るほうが望ましい場合が多いです。 そのような仕組みとしてJSON, S式, XMLなどが存在しますが、これらは 「基本的な構造」として何を選ぶか、という観点からそれぞれに個性を持っています。 本記事では、具体的な構文のことは基本的に忘れて、各フォーマットが採用するデータモデルの違いに焦点を絞って比較します。 JSON data JSON = Value data Value = -- Compounds Array [Value] | Object (Map String Value) -- Scalars | Null | Boolean Boolean | String String -- UCS-2 | Number IntegerOrFloat -- no NaNs