先日 "Python の「仮想環境」を完全に理解しよう" というスライドを公開したらかなり反響がありました。 Python の開発環境の構築は、正直言ってかなり複雑だと思います。 pip・venv・pyenv・Pipenv などなど、似たような名前・似たような役割のツールがたくさん登場して、最初は全然意味が分かりません。 慣れればなんとかなるのですが、慣れるまではかなり苦しいです。 このようにとても難解であるにも関わらず、Python は機械学習などでよく使われることから、避けられないことも多いです。 そこでこの記事には、「そもそも Python の開発環境にはどんな観点があるんだ？このツールはなにを解決してくれるんだ？」という話をまとめます。

頼展韜氏プロフィール 會田翔氏プロフィール バンダイナムコ研究所は、バンダイナムコエンターテインメントと協力して配信AIキャラクタープロジェクトを実施しており、「ゴー・ラウンド・ゲーム（ごらんげ）」という企画を進行している。その裏側で、あるいはゲームテキスト素材生成ツールを作る際において、どのようにAIテキスト生成を利用していたか解説が行われた。 ゲーム開発環境においてもAI生成は当たり前に 近年、LLMは目まぐるしい発展をしており、さまざまな領域を含む問題で構成されるベンチマーク「MMLU」において、人間の専門家を超えるスコアを達成しているという。 しかもこれは商用モデルのみならず、MetaのLlamaをはじめとするオープンモデルも性能差が縮まってきているという。ゆえに、ゲーム開発においても応用が効くわけだ。 ゲーム内のテキスト生成という分野においては、 『ダンジョンズ＆ドラゴンズ』のゲ

はじめに ここ一年でGitHub Copilotはかなり浸透し、Cursorなどの開発者向けのLLM（Large Language Models）ツールの利用も増えてきていることを実感します。 下記の通り、Copilotによって多くのコードが生成される時代となりました。 GitHub Copilotは改善され続けている。2022年6月にこのツールが初めて個人向けに提供されたとき、開発者のコードの27％以上が平均してGitHub Copilotによって生成されたものだった。現在では、この数字はすべてのプログラミング言語で46%に達し、Javaでは61%に跳ね上がっている。 https://github.blog/2023-05-09-how-companies-are-boosting-productivity-with-generative-ai/ CopilotやCursorも便利で愛用

はじめに この記事で想定している読者の方 LangChain経由でLLMを用いたchainを使用している方 LangChainと共に使用するLLM実験管理ツールを迷っている方 「LangChain」はLLMをシステムに組み込む際に非常に便利なライブラリであり, 実際に開発に用いられている方も多いと思います。ですが, LLMの性質上プロンプトやchainの構造を変化させての実験が多くなってしまい, 記録・管理が大変になりがちです。そんな場合に使用したいLLMの実験管理ツールについて前編の記事にてLangChainから使用するために選定したLangSmithとLangfuseについて今回は実装を行った上で比較して行こうと思います! TL;DR 今回は以下の画像のデモアプリを作成し3種類のchainについて実際に記録しLangSmithとLangfuseの比較を行いました! デモアプリの入力画面

Preprintあげたのでご報告！📣 ChatGPTが使いがちな英単語ってありますよね。「delve」「realm」「utilize」あたり。 （限界助教先生の記事面白かったです、以下👇参照）https://t.co/aYK0KDgJ7L… pic.twitter.com/ognOJecixR — 松井健太郎 睡眠・精神医学 (Kentaro Matsui) (@matsuikentaro1) May 17, 2024 論文執筆は、多くの研究者にとって時に苦痛を伴う作業です。英語を母語としない研究者にとっては特に、言語の壁が大きな障害となります。ChatGPTは、この障壁を一気に取り払ってくれます。翻訳、校正、要約作成—かつては数日を要したこれらの作業が、数分で完了する。その魅力は、抗いがたいものです。 特定の分野、特にコンピューターサイエンスや工学系の論文において、ChatGPT特有

コードのコメントやドキュメントなどのテクニカルライティングを生成AIが提案、補完、校正など支援するツール「Grazie」、JetBrainsが提供開始。日本語は未対応 Kotlin言語や統合開発ツールIntelliJ IDEAなどの開発を行っているJetBrainsは、IT系のテクニカルライティングのためのAI作文支援ツール「Grazie」（紹介動画によると発音は「グラッツィ」のようです）を発表しました。 JetBrainsの説明によると、Grazieで利用している言語モデルはハイテク業界のテキストを学習させているため、テクニカルライティングを的確に支援できるとのことです。 Introducing Grazie, a new AI writing companion! Streamline non-coding tasks right inside your JetBrains IDEs,

本記事では、RAG評価ツールの「RAGAS」の論文ついてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは、生成AIやRAGシステムを活用したサービスを開発しており、その中でもRAG精度の評価は非常に重要です。 この記事は何 この記事は、「RAGAS」についての論文[1]を、日本語で簡単にまとめたものです。RAGASはツールとして有名ではあるものの、RAGASの論文を読んだことがある方は多くなさそうです。 RAGASとは、おそらく今、一番有名なRAG評価ツールです。同様のツールとして、他にはLangSmithやARESが有名かと思いますが、他の開発者と話をしていても、評価ツールとして一番に名前が上がりやすいのは、やはりRAGASです。 また、今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー R

A pedestrian walks past the GitHub Inc. offices in San Francisco, California, U.S., on Monday, June 4, 2018. Photographer: Michael Short/Bloomberg ソフトウエア開発者のニコライ・アフテニーブ氏は2021年、米マイクロソフトが提供するコーディングアシスタント「Copilot（コパイロット）」のプレビュー版を手にし、すぐにその可能性を実感した。 マイクロソフトのコーディングプラットフォーム「GitHub（ギットハブ）」で開発され、米オープンＡＩが提供する生成ＡＩ（人工知能）をベースにしたCopilotは、完璧ではなく、時には間違えることもあった。しかしチケット販売会社スタブハブで働くアフテニーブ氏は、わずかなプロンプトで見事にコード行を完成させたこと

TLDR 社内のデータを元に質問への回答を LLM が生成する仕組み（RAG）を構築するためのサービスを開発しました。 β 版として無料で公開しているので是非使ってみてください。 サーバーレスな構成で Next.js を動かしている。技術のキャッチアップは大変だ。 背景 仕事をしていると社内の規定 / 製品情報 / 過去の履歴 .. などに関する問い合わせは日常的に発生するものだし、その工数は結構ある。通常は Wiki を作ってナレッジを共有するが、結局「近い人や担当に聞く」という行為はなかなか減らない。 色々な企業が、社内のデータを元に質問への回答を LLM が生成する仕組み（RAG）を独自に開発しているようで、技術ブログとかに書いている方も多い。 社内向け RAG の構築を SaaS プロダクトで提供したら各社の社内の問い合わせ工数と独自に RAG を構築するコストを下げられて嬉しいん

株式会社ソニックムーブ　エンジニアグループ ソリューションユニット マネージャー 家永 稔之 2011年にソニックムーブに入社。個人ではJavaScriptとTypeScriptを用いて、「swf2js」や「Next2D」の開発を手がける。業務のリモート化をきっかけに地元の消防団に所属し、防災活動として月に数回、消防車両に乗って地域の巡回を行う。 X GitHub Animation Tool かつてインタラクティブなWebコンテンツを支えた「Adobe Flash」。「Adobe Flash Player」は2020年12月末でサポートを終了し、ほとんどのコンテンツはすでに姿を消しました。そんなFlashコンテンツ（SWF）を最新のHTML環境で再生可能にする、オープンソースのJavaScriptライブラリが「swf2js」です。ソフトウェアエンジニアの家永稔之さんが開発し、2015年に

導入：LlamaIndexとは？ LlamaIndexは、Large Language Models（LLMs）の機能を拡張するために特別に設計された高性能インデックス作成ツールです。単なるクエリ最適化ツールではなく、応答合成、組み合わせ性、効率的なデータ保存など、高度な機能を提供する包括的なフレームワークです。複雑なクエリに対応し、文脈に合った高品質の応答を必要とする場合、LlamaIndexが最適なソリューションです。 本記事では、LlamaIndexのコアコンポーネント、高度な機能、プロジェクトへの効果的な実装方法について、テクニカルな詳細を解説します。また、LangChainなどの類似ツールと比較して、LlamaIndexの機能を完全に理解していただけるようにします。 最新のLLMニュースを知りたいですか？最新のLLMリーダーボードをチェックしてください！ LlamaIndexとは

Image Credit : ChatGPT made by BRIDGE Googleがまたやってくれた。検索大手のGoogleは13日、MusicFXを開始した。MusicFXは、ユーザーがAIを使って独自の音楽を生成できる画期的な実験ツールである。このイノベーションは、GoogleのMusicLMとDeepMindの電子透かし技術SynthIDを使用して、出力にユニークなデジタル透かしを作成し、創作の信憑性とソースを保証する。 MusicFXはミュージシャン、プロデューサー、愛好家が音楽を試したり作曲するための新たな可能性を開くもので、AI領域における重要なマイルストーンとなる。しかし、このツールには重要な制限がある。オリジナルのアーティストの声やスタイルを保護する動きとして、特定のアーティストに言及したり、ボーカルを含む特定のクエリに対しては音楽を生成しない。 Image cred

こんにちは、ニケです。 皆さん、Assistatnts APIは使われていますでしょうか？ 巷（私の周り）ではGPTsが流行りに流行ってるのでAssistatnts APIを使用されている方はあまり見かけないですが、今回のDevDayで発表された中でもかなり注目度の高いサービスではないかと思っています。 私も過去に以下の記事を書いているので是非ご覧になってください。 で、個人的にもかなり注目しているAssistatnts APIですが、今回はこれに破産させられそうになったという話です。 Assistants API とは？この説明も3回目です。 下記の公式かnpakaさんの記事がわかりやすいので、そちらを先に読んでもらえると良いかもしれません。 アシスタントAPIは、開発者が多様なタスクを行う強力なAIアシスタントを作れるように設計されています。 アシスタントは、特定の指示を設定することで

はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 LLMで何かしたい勢のみなさま、検索拡張生成こと RAG (Retrieval Augmented Generation)、やってますか？ 自社で持っているデータを使ってエンタープライズサーチを実現したい、それができればきっと無敵。そう考えて色々やろうとしているんじゃないでしょうか。私です。 RAGを使って意図した出力を得られるようにするには、十分なデータセットを準備したりパラメータを変更しながらチューニングをするなど、地道な作業が必要となります。 開発ライフサイクルにおける評価・テストステップで有効な、評価用フレームワーク RAGAS を使ってみましたので、本記事ではそれについてまとめます。 RAGASとは RAGパイプラインを評価/テストするためのフレームワークです。 パイプラインを構築するためのツールは多く

こんにちは、バクラク事業部のMLチームでソフトウェアエンジニアをしているTomoakiです。 今回はMLチームのスプリント管理におけるタスク・プロジェクト管理にNotionの新概念であるProjectを導入してみたら嬉しいことがたくさんあったので、それらを紹介したいと思います。 イントロダクション Notionの2.30リリースでプロジェクトという概念が登場し、プロジェクトの管理のテンプレートが公開されるなど大きなアップデートがありました。 www.notion.so 本記事でも紹介しますが、このリリースで紹介されているテンプレートが優秀すぎるので、まだみてない方は是非見てみてください。 MLチームでは5月末ごろから、ちょうどスプリント管理に課題感を感じており、早速NotionのProjectを取り入れて6月中に運用してみましたかなり良かったので、本記事では我々目線でのその効果を紹介したい

概要 データエンジニア界隈で話題となってきたdbtに関する調査内容を共有します。 OSS版のdbtでも機能が充実しており、データエンジニアの方には一部の機能の利用だけでも価値があるツールです。 必要に応じて、この記事を更新します。 dbt（Data Build Tool）とは dbtとはData Build Toolの略であり、dbt Labs社が開発しているデータ連携のELTにおけるT（データストア内でのデータ変換）の実施をサポートするツールです。 機能をざっくり整理すると下記のものがあり、SQL文のコンポーネント化やドキュメントの自動生成に特異性があります。 有償版であるdbt cloudとOSS版であるdbt Coreがあります。dbt cloudにて、developer版という個人検証用の無償ライセンスもあるので、とりあえず触りたい方はこちらがおすすめです。 引用元：dbt Pri

変更履歴 231108 現在、Pythonのバージョンが3.12だとpipでのインストールに失敗することがあるようです。 バージョン3.10または3.11のPythonを使うのがオススメです。 詳細を記載しました。 インストールの失敗について、ご報告いただきありがとうございました。 230614 Notionデータベース作成の方法に誤りがあったため修正しました。 Firstプロパティも、Selectタイプにする必要があります。 ご指摘ありがとうございました。 前置き 私はこんな感じでNotionを使って論文の管理をしているのですが、 その際に使っているPythonプログラムをコマンドラインツールとしてまとめて、配布してみました。 その名も Papnt です。 所詮素人が作ったプログラムなので大目に見てください。 このプログラムを使った結果について、一切責任は取れません。 なにができるの？

LayerXの suguru です。 今日は、バクラクの開発に導入した PR-Agentの話をしようと思います。 PR-Agent は、Codium AI によってオープンソースで開発されている ChatGPT を使ったプルリクエストを便利にするためのAIツールです。 現時点で、下記のような機能を持っています。 Pull Request の自動分析およびレビュー Pull Request のタイトルと説明文を自動入力 コード改善の提案 フリーテキストな質問への回答 CHANGELOG の自動生成 必要なものは、 OpenAI のキーのみのため、CIに簡単に導入できます。 GitHub上へのインラインコメントなどにも対応しており、普段開発する際に面倒なプルリクエストに関する様々な作業を自動化することができます。 裏側ではデフォルトで GPT-4 を使っており、ソースコードを解析し、高精度な結

RAG評価ツール「ragas」を試したので、まとめました。 1. ragas「ragas」は、「RAG」 (Retrieval Augmented Generation) パイプラインを評価するためのフレームワークです。「RAG」は外部データを使用してLLMのコンテキストを拡張するLLMアプリケーションです。「ragas」はこのパイプラインを評価して、パフォーマンスを定量化します。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) RAGパイプラインの準備。 今回は、以下の記事で作成した、ELYZAのRAGパイプラインを使います。 (2) パッケージのインストール。 # パッケージのインストール !pip install ragas datasets(3) 環境変数の準備。 「ragas」は「OpenAI API」で評価します。 import os import

“オリジナルCopilot”が作れる「Copilot Studio」登場　スタンドアロン型にも対応　GPTとも連携：Microsoft Ignite 米Microsoftは、AIプラットフォーム「Microsoft Copilot Studio」を発表した。自身の好みにカスタマイズした生成AIツール「Copilot for Microsoft 365」（Copilot）をローコードで作成できる。 米Microsoftは11月15日（現地時間）、AIプラットフォーム「Microsoft Copilot Studio」を発表した。自身の好みにカスタマイズした生成AIツール「Copilot for Microsoft 365」（Copilot）をローコードで作成できる。同日から利用可能、Copilotとの統合はパブリックプレビューで提供している。