Command R＋

はじめに 制限なく無料で利用するために、生成AIをローカルPCにインストールできるといいな、と考えました。「Command R(+)」を紹介する記事を読み、これに興味を持ちました。 前回の記事では、ローカルPCに「Command R(+)」を導入するにはグラフィックカードが必要であり、これが300万～500万円くらいするという、衝撃の事実が分かりました。 muriwashinai.hatenablog.com もうちょっと何とかならないんでしょうか。そう思ったところに、いい記事を見かけました。 pc.watch.impress.co.jp 今回はこちらの記事を読み、新たに分かった「Comman…

Command R+のシステム要件を確認しているところ はじめに まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 という記事を読んで、自分のPCでもローカルAI「Command R+」を動作させられないか、興味を持ちました。以下では、その導入方法と必要なハードウェアについて調査した結果をまとめています。 Command R+のシステム要件 プロンプト PCローカル環境に、Command R+を導入する方法を知りたいです。まず、私のPCでCommand R+が動作する性能があるかどうか、確認する方法を教えてください。 回答 Command R+を…

【要点】 ◎Cohere が開発したオープンソースの大規模言語モデル（LLM）。2024/04/04に公開 【サイト】 ◆Command R+ (Cohere) https://docs.cohere.com/docs/command-r-plus ◆Hugging Faceから利用 (HuggingFace) https://huggingface.co/spaces/CohereForAI/c4ai-command-r-plus 【ニュース】 ◆日本語対応でGPT-4よりも高性能な大規模言語モデル「Command R＋」が登場したので使ってみた、無料でダウンロードしてローカル動作も可能 (…

今までの振り返り 総括 今年はどんな年だったか クリプトにハマった 猫がやってきた 今年触った技術・サービス 読んで良かった本ベスト 3 1 位：人は 2000 連休を与えられるとどうなるのか? 2 位：１万回生きたネコが教えてくれた 幸せなＦＩＲＥ 3 位：正欲 終わりに 今までの振り返り 2019 年振り返り 2020 年振り返り 2021 年振り返り 2022 年振り返り 2023 年振り返り 総括 フリーランスになった クリプトにハマった ネコがやってきた 今年はどんな年だったか 今年は非常に良い年だった。波があったり困難もあったが、なんとか乗り越えた！ 特に、生き方の路線を大きく「ガ…

日本語reasoningモデルを作る LLMを悩ませる"Excel文書"をうまく扱う方法 AivisSpeech を試す＆CLI から試せるスクリプトを作成した 【論文】LLM-as-a-Judgeならぬ、Agent-as-a-Judge 〜エージェントでエージェントの評価を行う〜 Engineering Manager CNN < Transformer ? o1 Proを使ってプロダクトのアイデア出しから実装までやってみる！ 【Azure OpenAI × ゼロトラスト】あなたの生成AIアプリを鉄壁のセキュリティで守る実践ガイド Pythonのプロジェクト管理ツール uv のv0.5.3ま…

こんにちは！TECH Street編集部です！ 2024年9月25日（水）に開催した、 「LLMアプリ開発エンジニア勉強会」のイベントレポートをお届けします。今回は3社のアプリケーション開発に携わるエンジニアが集まり、それぞれの知見を発表し、学びあう勉強会を開催します。 登壇者はこちらの方々！ Seiya Umemoto／パーソルキャリア株式会社 リードエンジニアSaito Taishi／個人事業主 エンジニア有馬三郎／セゾンテクノロジー 執行役員 CTO 早速、内容を紹介いたします！ 月間4000人以上の社内利用を達成したRAG搭載LLMチャットアプリの機能改善の取り組み 目次 はじめに 社…

UM790 ProにRyzen AI Softwareのバージョン１．３を再導入し、quicktestの確認までできたたので手順をここにメモしておきたい。 導入の準備 Ryzen AI Softwareの導入方法は下記のページにある。 Installation Instructions — Ryzen AI Software 1.3 documentation 準備としてまず下記のソフトをWindows11環境に導入する必要がある。 Visual Studio こちらのMicrosoftのサイトからダウンロードした。 モジュールは「C++によるデスクトップ開発」のみを選択するだけでいい。 cm…

原神キャラほぼ全てが入れ替わり立ち替わりさまざまな会話を編み出す何かを作りたい。当初はTRPGを想定していましたが、TRPGでは私の知識量が不足していて到底、何かをできるような気がしません。調べれば調べるほどこれは経験が必要な分野だと分からせられるのです。 でしたら水平思考で別のことを考えればいいのです。多人数のキャラクターが何か喋ることです。多人数で何か喋ることはあるのでしょうか？ 多人数で何か喋ること 一つ思い浮かぶことは、極めて政治的ですが国会です。大臣や閣僚らが代わる代わる何か喋っています。過去の国会の議事録を学習して、疑似国会をやるというものです。これも答弁とか面白いので何か喋らせる…

はじめに NRIで、Oracle Cloud Infrastructure（以下OCI）サービスの運営を担当している高橋です。2024年9月にOCI Generative AI Agents (以下GAI Agent)がリリースされました。GAI Agentを使うことで、外部情報の検索を組み合わせて生成AIの回答精度を向上させるRetrieval-Augmented Generation（RAG*1）を簡単に構成することが出来ます。本記事ではGAI Agentが利用するObject Storage上にドキュメントがアップロードされたことを検知して自動的にデータをGAI Agentに取り込む処理…

はじめに Ollma ローカル環境で大規模言語モデル(LLM)を簡単に実行できるオープンソースのフレームワーク Chainlit 対話型AIアプリケーションを簡単に作成・デプロイできるプラットフォームで、特に大規模言語モデル（LLM）やチャットボットの開発に役立つツール LangChain 大規模言語モデル（LLM）を活用してアプリケーションを構築するためのフレームワーク HuggingFace 無料で多数のオープンソースLLMをダウンロードして使用できるプラットフォーム OllamaでローカルLLM環境をつくって、Web対話ボットをChainlitを用いて作成する。完成イメージはこんな感じ。…

はじめに Ollma ローカル環境で大規模言語モデル(LLM)を簡単に実行できるオープンソースのフレームワークです。 サーバー・クライアント方式で動作するOllmaを利用。サーバー側でモデルのロードと推論を実行し、クライアント側でコマンドラインインターフェースの「ollama run」を使って、ローカルLLM環境を構築する。 1台のマシン上で完結する（サーバーとクライアントが同一）場合の基本的な利用の流れの備忘録。 # サーバーの起動（デーモン） $ ollama serve # クライアントからモデルを実行 $ ollama run llama2 検証環境 Dockerコンテナー（nvidi…

Windows24H2でsudoが使えるようになった話 sudoの話から，Windowsでsudoが使えるようになった事に対する個人的な意見を書こうかなと．． その前に... Windows11 24H2について Windows11からは，1年に1度の機能更新プログラムがきます．そして2024年10月1日に24H2がリリースされている． Windows Updateでは，段階的にロールアウトし始め，ロールアウト対象になれば，設定のWindows Updateから「Windows11 24H2」が利用できます． ※注意点 Windows Updateで「24H2への更新」が来ていない時に，Mic…

ばえる〜 今日の一句 甘藷売りテープの声して軽トラ行く 浮浪雀 今日の三択。絵空事の由来は？ 絵には画家の作意・空に描く故事・ぼけ 初めはいいい見合ったそうだ。画家の絵心が事物を面白くする、といった意味だとか。 新聞の宣伝にパソコンの廃棄があった。政府がやっているらしい。段ボールにいれて用意すれば、無料で取りに来てくれる。よし捨てるか。macmini2010 moddle 全面に細いスリットが開いていて、ＤＶＤを入れることができるものだ。appleはこの後メディアをネット配信にしてこのタイプは辞めてしまった。そして音楽ソフトはitunesがついている。細菌のmusicは宣伝が多く、すぐにapp…

以前の記事で、Tanuki-8x8Bのオリジナル版が動く環境について調べた。96GBのVRAMが必要で400万円クラスのマシンが必要であることが分かった。 今回は、Tanuki-8x8Bの量子化版、あるいは70B（700億パラメタ）クラスのLLMがローカルで快適に使える環境について考察してみた。 ここで「ローカル」LLM環境にこだわる理由は、単純に自分でLLM環境を構築してみたいからだ。その意味ではローカルマシンで動かすことにこだわっているわけではなく、推論処理自体はクラウド上のGPU環境で実行しても問題はない。 日本語性能の高いオープンLLMモデル 現在、日本語性能が満足できるオープンなLL…

こんにちは、デザインチームのスジンです。 今回は、Adobe XDからFigmaへのデザインデータ移行の経験について、お話ししたいと思います。 私は昨年、JCBにUI/UXデザイナーとして入社しました。 当時、社内では主にAdobe XDを使ってデザインをしていましたが、並行して進行していたデザインシステムのプロジェクトではFigmaが使われていました。 そこで、引き継いだプロジェクトにおいてもデザインシステムのようにFigmaを活用できる方が良いと考え、Adobe XDからFigmaへの移行を提案しました。 Figmaにはデザイナーだけでなく、エンジニアの作業効率を大幅に向上させる多くの機能…