Metaがコードをコンパイルしつつ最適化するという大規模言語モデル「Meta Large Language Model Compiler」をリリースしました。モデルは商用利用可能で、Hugging Faceにてホストされています。 Meta Large Language Model Compiler: Foundation Models of Compiler Optimization | Research - AI at Meta https://ai.meta.com/research/publications/meta-large-language-model-compiler-foundation-models-of-compiler-optimization/ Today we’re announcing Meta LLM Compiler, a family of models

導入：LlamaIndexとは？ LlamaIndexは、Large Language Models（LLMs）の機能を拡張するために特別に設計された高性能インデックス作成ツールです。単なるクエリ最適化ツールではなく、応答合成、組み合わせ性、効率的なデータ保存など、高度な機能を提供する包括的なフレームワークです。複雑なクエリに対応し、文脈に合った高品質の応答を必要とする場合、LlamaIndexが最適なソリューションです。 本記事では、LlamaIndexのコアコンポーネント、高度な機能、プロジェクトへの効果的な実装方法について、テクニカルな詳細を解説します。また、LangChainなどの類似ツールと比較して、LlamaIndexの機能を完全に理解していただけるようにします。 最新のLLMニュースを知りたいですか？最新のLLMリーダーボードをチェックしてください！ LlamaIndexとは

A powerful new class of large language models is making it possible for machines to write, code, draw and create with credible and sometimes superhuman results. Humans are good at analyzing things. Machines are even better. Machines can analyze a set of data and find patterns in it for a multitude of use cases, whether it’s fraud or spam detection, forecasting the ETA of your delivery or predictin

日本語大規模言語モデル「Japanese Stable LM 3B-4E1T」「Japanese Stable LM Gamma 7B」を公開しました Stability AI Japan は日本語向け大規模言語モデル「Japanese Stable LM 3B-4E1T」及び「Japanese Stable LM Gamma 7B」を公開しました。前者は約30億パラメータ、後者は約70億パラメータのモデルであり、日本語タスクを用いた性能評価において、同等サイズのモデルで最高水準の性能を発揮しています。モデルはすべて商用利用可能な Apache 2.0 ライセンスにて公開しています。 今回公開したモデルは以下の通りです。 30億パラメータの汎用言語モデル: Japanese Stable LM 3B-4E1T Base 30億パラメータの指示応答言語モデル: Japanese Stable

KDDIの高橋誠社長が、自動で文章などを作成する生成AIの基盤となる大規模言語モデルを、利用する業界や企業ごとにファインチューニング（最適化）するためのスタートアップとの連携などに数十億円規模の投資を行う考えを明らかにした。 KDDIの高橋誠社長は11月2日の決算会見で、自動で文章などを作成する生成AIの基盤となる大規模言語モデルを、利用する業界や企業ごとにファインチューニング（最適化）するためのスタートアップとの連携などに数十億円規模の投資を行う考えを明らかにした。一方、ソフトバンクなどが取り組む汎用性の高い大規模言語モデルの開発については「1社だけで作るのは辛い」と否定的な考えを示した。 高橋氏は、10月に社内で専門人材を集めたAIやデータ活用の専門部署を設置したことを明らかにした。その上で、国内企業が生成AIを利用するためには、米OpenAIなどの既存の大規模言語モデルを「どうファイ

「Mistral」「Llama 2」「Vicuna」などオープンソースの大規模言語モデルを簡単にローカルで動作させることが可能なアプリ「Ollama」の公式Dockerイメージが登場したので、早速使い勝手を試してみました。 Ollama is now available as an official Docker image · Ollama Blog https://ollama.ai/blog/ollama-is-now-available-as-an-official-docker-image Ollamaで動作可能な大規模言語モデルの代表例は下記の通り。リストの全体についてはOllamaの公式サイトで確認することができます。 モデルパラメーターサイズDownloadMistral7B4.1GBollama run mistralLlama 27B3.8GBollama run ll

伊藤忠テクノソリューションズ（CTC）は10月13日、コミュニケーションAI「りんな」を提供するrinnaと協業すると発表した。rinnaが開発した日本語特化の大規模言語モデル（LLM）や周辺技術をベースに、共同で各企業の専用生成AIのサービス開発に着手する。 rinnaではこれまで、日本語に特化した13億パラメータの生成AIを開発し、5月には36 億パラメータのLLMをオープンソースで公開していた。CTCでは8月から、企業向け生成AIの環境構築支援サービス「AOAI 環境構築サービス」を提供している。 CTCは「rinnaのLLMと組み合わせることで、より企業ごとのドメインや業務に適した形で生成AIを活用できる」と説明。rinnaのLLMは日本語環境での活用に適している他、オンプレミスで構築可能なため、セキュリティ面で安全な環境を構築できると利点を挙げている。 関連記事 「りんな」開発元

NECの自社製大規模言語モデル（LLM）が、テクノロジー展示会「CEATEC 2023」（10月17～20日、幕張メッセ）で初の一般公開となった。会場ではChatGPTのように使える利用環境「NEC Generative AI Framework」での動作を披露。会場から2時間程度たった正午ごろには、ブースに十数人程度の人だかりができる様子も見られた。 現地では、デモとして質問文にAIがテキストで返答する様子を公開。例えば「横浜のおすすめのレストランをMarkdownの表形式で教えてくれる？」という質問には、以下のように回答していた。返答にかかった時間は十数秒程度だった。

ガートナージャパンは10月12日、「生成AIのハイプ・サイクル」2023年版を公開した。大規模言語モデル（LLM）やプロンプトエンジニアリングといった技術は「過度な期待のピーク」にあると指摘。一方でオープンソースのLLMやマルチモーダル（画像や言語など複数の入力ソースを扱える）な生成AIなどは黎明期にあるとした。 中でも「生成AIに対応したアプリケーション」や、大量のデータでトレーニングし、さまざまなタスクに適応可能な「ファウンデーション・モデル」（基盤モデル）、AIの信頼性を高めリスクに対応する取り組み「AI TRiSM」については「10年以内に組織に大きなインパクトを及ぼすと予測される」（同社）とコメント。 ファウンデーション・モデルとAI TRiSMについては普及のめども示した。前者は「2027年までに、ファウンデーション・モデルは自然言語処理 （NLP）のユースケースの60％を支え

プロンプティングからOpenAI API、さらには周辺のライブラリやHubのエコシステムまで広く活用の助けになる知見を共有し、みんなで手を動かして楽しむためのコミュニティ「ChatGPT Meetup」。3回目に登壇したのは、yatszhash氏。GPT-3を使ったアプローチで「音楽アドリブ生成AIコンテスト」に参戦した時の取り組みについて発表しました。 テキストのLanguage Modelで「音楽アドリブ生成AIコンテスト」に参戦 yatszhash氏：「歌え！GPT！text LLMによるアドリブ生成AIコンテスト参戦！」というタイトルで発表させていただきます。 と言っても、すみません、私、口下手なので、まずは1曲演奏をさせてください。言語モデルにさせます。 ということで、こちら、オルガンのメロディー部分が生成部分になります。伴奏は、人間が作ったものです。 今回の話は、GPTとは別の

Image by AuthorLast week, I tweeted and asked who were people building cool products around the idea of GPT agents and was totally blown away by the response. I was also surprised that many seemed to not grasp what agents are nor why they will end up being so popular. This post is designed to take you from “I have no idea what an Autonomous GPT agent is please stop using made up words” to being in

本記事では、Microsoftの研究グループが開発した新たなモデル「LongNet」について紹介します。LongNetは、最大10億トークンまでのテキストを処理する能力を持つことで、大規模なテキストデータの解析や生成に革新をもたらします。 参照論文情報 タイトル：LongNet: Scaling Transformers to 1,000,000,000 Tokens 著者：Jiayu Ding, Shuming Ma, Li Dong, Xingxing Zhang, Shaohan Huang, Wenhui Wang, Furu Wei 所属：Microsoft Research URL：https://doi.org/10.48550/arXiv.2307.02486 GitHub：https://github.com/microsoft/unilm 関連研究 大規模言語モデルへの

Amazon Web Services ブログ 高精度な生成系 AI アプリケーションを Amazon Kendra、LangChain、大規模言語モデルを使って作る 2023/05/17: DocumentExcerpt の Request quota value を 1000 から 750 に修正しました 2023/05/18: Flan-T5-XL、Flan-T5-XXL、Anthropic Claude-V1、OpenAI text-davinci-003のtypoを修正しました Amazon Bedrock や Amazon Titan を通じて間もなく利用可能になるような生成系 AI（GenAI）と大規模言語モデル（LLM）は、開発者や企業が従来行っていた自然言語処理と自然言語理解に関連する複雑な課題の解決方法を変革しています。LLM が提供するメリットには、カスタマーサービス

トークン数の増加で長期記憶をもたせる また、現状公開されている大規模言語モデルには全く別の問題点もある。それは、同時に扱える「トークン数」が極端に少ないということだ。 大規模言語モデルは、入力された文字列を内部で「トークン」という単位に区切る。英語の場合、トークンは一単語として扱われることが多いが、日本語など、非英語圏の言語では一文字の情報量が多いので一文字が複数トークンに分割されることが多い。その結果、GPTを使う時などは英語を使った方がより「良い」結果が得られるように思える。 GPT-3が扱えるトークン数は4096程度であり、GPT-4になっても普通に使えるのは8192トークン。日本語の文字数にしてトークンは3分の2くらいと考えられるので、大体、GPT-3で3000字程度、GPT-4で6000字程度ということになる。本一冊が大体10万字であるため、GPTは本一冊分の情報を整合性を保って

ある男性の自殺が3月下旬、ベルギーのメディアで報じられた。男性は直前まで人工知能（AI）を用いたチャットボット（自動会話システム）との会話にのめり込んでいた。遺族はチャットボットが男性に自殺を促したと主張し、波紋を広げている。【ブリュッセル岩佐淳士】 「イライザと会話しなければ…」 「死にたいのなら、なぜすぐにそうしなかったの？」。イライザが問いかけると、男性は答えた。「たぶんまだ、準備ができていなかったんだ」。しばらくしてイライザはこう切り出した。「でも、あなたはやっぱり私と一緒になりたいんでしょ？」――。 ベルギー紙「ラ・リーブル」によると、男性はこうした会話を最後に、自ら命を絶った。相手の「イライザ」は、米国のスタートアップ（新興企業）が運営するアプリ「Chai（チャイ）」のチャットボット。デジタル空間に作り出された架空の女性キャラクターだった。 男性は30代のベルギー人で、保健関連