この記事では、プロタイプ作成が簡単にできるPythonのStreamlitを用いて、Google検索を組み込んだ生成AIアプリの作り方を紹介します。Gemini2.0のAPIが最近すごく便利になってきていて、Google検索を組み込むようなシステムも簡単に作ることができます。Gemini APIを使って、生成AIのアプリを作ってみたいと思っている方に、参考になれば幸いです。(※今回使ったコードはGithubで公開しています。) 本記事は、「Ubie生成AIアドベントカレンダー」の記事です。 Gemini APIGeminiのAPIを使う方法は、2種類あります。 Google AI StudioのAPI経由 Vertex AIのAPI経由 Google AI StudioのAPIは無料枠もあり、個人のアプリ開発やプロトタイプ作成に適しています。一方で、Vertex AIのAPIは、企業がシス

はじめに browser-use を使う上で詳しいドキュメントがなかったので、自分で使ってみたことをまとめてみました。 browser-use の基礎的なところは以下にまとめてあります。 ブラウザを起動させず、ヘッドレスモードで実行したい BrowserConfigのheadlessをTrueにすることで、ブラウザを起動させず、ヘッドレスモードで実行することができます。 from browser_use.browser.browser import Browser, BrowserConfig browser = Browser( config=BrowserConfig( headless=True, ) ) async def main(): model = ChatOpenAI(model='gpt-4o') agent = Agent( task='東京の天気をGoogleで調べて

Today we're sharing our first step towards spatial intelligence: an AI system that generates 3D worlds from a single image.

VRoid Hubで自分が使えるモデルが見つからなかったとしても、心配することはありません。ピクシブが提供する無料キャラクターメーカー「VRoid Studio」を使えば、モデリングの知識がなくても直感的な操作で3Dキャラクターを作ることができます。VRoid Hubへのキャラクター登録もカンタンです。

“テキストから物理シミュレーションを生成するAI”を内蔵した高速物理エンジン「Genesis」Genesisは、新たに開発された物理エンジンで、多彩な3Dオブジェクトや物理現象の生成機能を備えています。この物理エンジンは、ロボット工学や物理AIアプリケーションなど、幅広い分野での活用を見据えて開発されました。 Pythonベースのオープンソースとして開発され、GitHubでコードが公開されていますが、現在はIsaac Gym/LabやMujocoと同様の物理シミュレーター部分のみが公開されており、生成機能は内部開発用として非公開となっています。 Genesis開発者のKashu Yamazaki氏に聞いたところ、Genesisの構造は低レイヤーに物理シミュレーター、高レイヤーに生成AIエンジン（イメージとしてはLLMエージェントに近い形）を備えており、ユーザーのプロンプトから物理シミュレー

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

【いきなり修正】 １．誤：AITuberToolkit ⇒ 正：AITuberKit ２．Python環境不要でした（てへ）miniconda不要です（項削除） 昨年は生成AIと転職に振り回された一年となりました が、ここで、もう一度自分が何をやりたくて生成AIに触れ始めたのか、振り返ってみます おじいちゃん、おばあちゃんと会話するシステムを作りたい そこが原点 で、日本語を喋れるローカルLLMに個性化システムを載せる が、最初の目標だったのですが、何かと結果が見えにくい。 そこでAITuberという形で見えやすくしてみた方が自分のモチベーションも上がるのでは？というわけで「AITuberKit」はじめてみます。 では、はじまりはじまり～ まずは「ニケちゃん」のコチラの note を参照に AITuberKit を導入します 導入する前に環境を整備しますよ。 Node.jsを導入するよAI

小ネタです。 先に公開したデータアプリケーションサービスのMorphに関するブログですが、 このサービスについては最近オープンソース(OSS)版もリリースされています。 当エントリではそのオープンソース版を手元の個人環境起動させてみた、という内容を紹介致します。 下準備 MorphのOSS版については、基本的にはpipで必要なライブラリをインストールした後はコマンドを幾つか打つだけであら簡単、あっという間に出来上がり...！という流れなのですが、手元の端末でPython/pip実行環境を整える必要があったのでその部分もメモとして記載しておきます。 ## Mac OSのバージョン確認 % sw_vers ProductName: macOS ProductVersion: 14.5 BuildVersion: 23F79 ## Python実行環境の確認 ### pythonは入っていない

複数の画像生成AIツールを使っているとそれぞれの特徴があることが、なんとなくわかってくる。最近よく言われているのが、日本人を描くには、Googleの画像生成AI 、ImageFX が最適、という生成AI界隈の評価です。確かに日本人と指定して画像生成すると、ImageFX はリアルで自然な日本人の画像を生成してくれます。海外の生成AIツールであるにもかかわらず、日本人の理解がより正確であるとも言われてます。 ImageFXの場合、Googleのもつ豊富な学習データによって、生成するものがよりプロンプトに忠実なのだと思います。ImageFXはプロンプトによって、生成できない場合があったり、その挙動はまだ謎な部分はありますが、Googleの総合力が今後、生成AI業界にもたらす影響は大きなものになることが予想されます。 ImageFXを使って、砂丘で日本人の女性ファッションモデルを撮影したイメージ

はじめに 前回と前々回は、browser-useに関する記事を投稿し、AIが自律的にWebブラウザを使ってコンテンツ情報を取得する仕組みについて解説しました。今回は、Webブラウザを介さずに「スクレイピング」という手法でコンテンツ情報を取得するツール、Firecrawlを試してみます。 ただし、「スクレイピング」は誤った使い方をすると他のWebサイトに迷惑をかけたり、トラブルを引き起こす可能性があります。そのため、ご自身が管理しているWebサイトや利用許可を得たサイトでのみ実施するようにしてください。 それでは、Firecrawlを使ったスクレイピングに挑戦してみましょう！ Firecrawlについて Firecrawlは、指定したURLをクロールし、その内容をマークダウン形式や構造化データに変換するAPIサービスです。手軽にウェブ情報を整理・変換できるため、データ収集や分析に役立つツール

はじめに メリークリスマス🎅 2024年も残りわずかということで、最後にネタ記事を投稿して年を納めたいと思います。 突然ですが、いつも使う開発環境こだわっていますか？ 自分は、一部の人たちにはVimを布教する熱心な信徒だと思われていますが、ただ布教するだけではその人にとって実用的ではありません。 個人的な観測に基づきますが、意外にもVimmerじゃない開発者は結構こだわりが薄かったり、エディタのテーマを変える程度だったりするので、今回は多くの人が使っているであろうCursorとVSCodeを対象とした実用的なカスタマイズ方法をご紹介します。 ただのカスタマイズ方法ではありません。ナウなヤングにバカウケするイケイケ設定です。 お断り

前提 本記事のすべての内容はCpython実装を元にしています。 python実行時に出てくる __pycache__とは何か？ Pythonが勝手に作成するCacheディレクトリのことで、中には*.pycファイルが入っている。 その目的は名前からしてCacheファイルを想像させるため、何かの結果物をCacheにし、高速化を意図しているのではないかということが想像できる。 その実態をこれから先で掘り下げていく。 *.pyc はどのように作られるのか？ それには、Pythonがどう起動するかを知る必要がある まず、python main.pyを実行すると、我々が書いたCodeが py_compile[1] によってpycというファイルに変換される。それを、Python Interpreterが読み取り、順番に実行していく。 *.pyc の中身は何か？ Cacheファイルであり、人が読むことを

3次元のカメラワークを可能にする新機能（Runway X投稿より） https://x.com/runwayml/status/1852363185916932182 動画生成AI市場の競争が新たな段階に突入した。これまでRunwayやPika、Lumaなどプレイヤー数は限定的だったが、ここにきてオープンソースモデルの参入が相次いでおり競争が一層激化している。これを受け先行プレイヤーは、単なる動画生成にとどまらず、動画編集に関わる実用的な機能の搭載など、差別化を模索する動きを活発化している状況だ。 たとえばRunwayは2024年11月、最新モデル「Gen-3 Alpha Turbo」に高度なカメラコントロール機能を追加したことを発表した。この機能により、3次元空間内でのズームインやズームアウト、パン操作などが可能となり、実際の撮影現場のような臨場感のある映像生成を実現。さらに、カメラの移

既存RAGの課題、ハルシネーションやコンテキスト理解不足など 企業における生成AI活用では、情報の正確性が特に重視される。そのため、生成AIを利用する場合、検索拡張生成（RAG）の導入が一般的となっている。RAGとは、生成AIに外部データベースを接続することで、より正確な回答を生成する手法。RAGは特に文書要約やシンプルなクエリへの回答で優れたパフォーマンスを発揮するといわれている。 しかし、既存のRAGシステムには、いくつかの課題が存在する。課題は大きく4つに分類される。 第1の課題は、RAGだけでは情報の正確性が担保できないことだ。たとえば、営業担当者が商談の売上を問い合わせた場合、チャットログやメール、CRMなど、複数のデータソースが参照対象に含まれる。この場合、CRMが最も信頼できる情報源となるはずだが、RAGシステムは、自律的にそのことを判断できないため、古いメールから誤った情報

本記事では、現在流行している「RAG」技術について、2024年トレンドの振り返りと、2025年の予想をします。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 2024年は、RAGが大流行した年でした。この記事では、2024年の技術トレンドを振り返りつつ、2025年のRAGの進展を予想したいと思います。技術的トレンドはもちろん、普段、企業向けにRAGを提供している会社としての、僕の肌感覚も合わせて、お伝えできればと思います。 本題 ざっくりサマリー 結論として、RAGは、来年も変わらず流行し続けると予想します。 まず来年は、これまで以上に回答精度が向上するのは間違いないです。その理由は、LLMの価格低下トレンドと入力できるコンテキスト増大トレンドが、まだ続くためです。加えて、LLMが「視覚・音声」の入力手段を獲得したこと、ベクトルD

背景 これまでの常識として、高性能なLLMには高価な業務用グラフィックス処理装置（GPU）が必要で、クラウドのサーバーでしか動作させることができませんでした。 近年、状況は大きく変わりつつあります。性能を維持したまま小型化されたLLMが、オープンソースで公開され始めたのです。パラメータ数（モデルの複雑さを表す指標）は10億から30億程度に抑えられています。一方で、一般向けパソコンの処理能力も著しく向上しました。例えばAppleの最新プロセッサM3を搭載したノートパソコンでは、データ容量を圧縮した30億パラメータのモデルでも、1秒間に90個の単語を生成できるほどの速度を実現しています。 手元の端末でLLMを動かせるようになれば、新たな可能性が広がります。個人情報を外部に送信せずにすみ、ユーザーのプライバシーが守られます。端末内のデータを活用した個人向けのカスタマイズも可能になります。さらに、

みなさんは最近話題の生成AI「Suno AI」をご存じでしょうか？ 日本語で単語を入力するだけで簡単にオリジナルの楽曲が作れる、今話題のAIツールです。 生成したいオリジナル曲のテーマを入力するだけで、AIが作詞・作曲してくれるので、音楽や作曲の知識が全く無くてもプロ級の音楽を生成することができます。 今回はSuno AIの使い方と料金プランをご紹介します。 Suno AIに興味がある方は、ぜひ参考にしてみてください！ Suno AIとは？ ↑Suno AIトップページ Suno AIとは、アメリカの企業Suno.incが開発した音楽生成AIです。 前述した通り、曲や歌詞のイメージを入力するだけで、簡単にオリジナル楽曲の生成が可能です。 たとえば「ドライブ」という単語を入力するだけで、Suno AIはそのテーマに合わせた歌詞とメロディを自動で生成します。 下記は「ドライブ」と入力して生成し

国立情報学研究所 （NII） の大規模言語モデル研究開発センター（LLMC）は、2024年12月24日、約1720億パラメータのLLM「llm-jp-3-172b-instruct3」を一般公開した。「学習データまで含めすべてオープンなモデルとしては世界最大規模」としている。 約1,720億パラメータ(GPT-3級)の大規模言語モデルを2.1兆トークンの学習データを用いてフルスクラッチで学習し、指示チューニングを施したモデルを「llm-jp-3-172b-instruct3」として公開しました。学習データまで含めすべてオープンなモデルとしては世界最大規模です。https://t.co/ebFhmrA8yP — LLM勉強会（LLM-jp） (@llm_jp) December 24, 2024 ●llm-jp-3-172b-instruct3（Hugging Faceにて公開） https