今日もいつものようにシラスでデイリーAIニュースを配信していると、とんでもないものにでくわした。 もうタイトルに書いてあるけど、AIが勝手にブラウザを操作して色々やってくれてしまう、その名もBrowserUseだ。 インストールは超簡単。 macなら以下の二行だけだ。 $ pip install browser-use $ playwright install使うのも超簡単だが、コマンドラインに落ちるのが怖い人々には簡単に見えないかもしれない。環境変数のOPENAI_API_KEYとかにAPIキーを入れておくこと。 $ python >>> from langchain_openai import ChatOpenAI >>> from browser_use import Agent INFO [browser_use] BrowserUse logging setup complete

こんにちは、技術イベントに参加してきてアウトプット欲が高まっているハヤトです。 この記事は Dify Advent Calendar 2024 のシリーズ2、24日目の投稿です。 最近も精力的にアップデートが重ねられているDifyですが、 その中心的な機能であるワークフローとノードについて改めて基本的な内容を確認していきたいと思います。 実際に動作するワークフローを構築しながら説明するので、 Dify初心者の方も是非ご一読ください。 ※本記事はDifyバージョン0.13.1時点のものです。 Difyについて Difyの「ワークフロー」とは Difyワークフローの種類と使い分け ノードについて ナレッジ検索 ナレッジの作成 ナレッジ検索を使用するワークフローの構成 質問分類器 質問分類器の設定 パラメーター抽出器 パラメーター抽出器の設定 Arxiv論文検索ツールの設定 まとめ Difyにつ

生成AIを活用した業務改善をしたいと考えても、 「セキュリティ上の懸念から会社にNGを出されている」 「ランニングコストを負担できない」 といったケースもあると思います。 そこで注目されるのが、ローカル環境で動作するLLMとツールです。 この記事では、ローカルLLM（Ollama）とローカルDifyを組み合わせて、完全にローカル（Mac）で動作するチャットエージェントを構築する方法をご紹介します。プライバシーを守りながら、業務効率を最大化するヒントをご紹介します！ ローカルLLMの利点ローカルLLMとは、クラウドに依存せず、自分のPCやオンプレミスのサーバーで動作する大規模言語モデルのことです。以下のような利点があります。 1. データセキュリティの確保企業データや機密情報を外部クラウドに送信する必要がないため、情報漏えいのリスクを最小限に抑えられます。特に、厳しい情報管理が求められるケー

by Washington State Department of Agriculture アメリカで猛威を振るうと懸念されていたオオスズメバチが、ワシントン州での3年間にわたる徹底的な駆除作戦により、ついに根絶されたことが発表されました。2019年に初めてアメリカで確認されて以来、養蜂業への深刻な脅威として警戒されてきた外来種であるオオスズメバチとの戦いに、ついに終止符が打たれることになりました。 WSDA, USDA announce eradication of northern giant hornet from the United States | Washington State Department of Agriculture https://agr.wa.gov/about-wsda/news-and-media-relations/news-releases?arti

はじめに データソリューション事業部の力岡です。 近年、大規模言語モデル（LLM）を利用する機会は増加しており、GPTやClaudeといったクローズドなモデルだけでなく、自身の環境でオープンソースのLLMを活用したいと考える人が徐々に増えてきています。しかし、その場合に課題となるのは、推論速度の遅さや計算資源の制約です。 本記事では、LLMの推論速度を大幅に向上させることができるライブラリ「vLLM」について紹介します。さらに、vLLMの主要技術であるPagedAttentionやバッチ処理手法についても簡単に解説していきたいと思います。推論速度や計算資源に課題を感じている方は、ぜひ本記事を参考にしてください。 vLLMとは vLLMは、LLMの推論を高速化するためのオープンソースライブラリで、Pythonで利用することができます。通常、LLMの推論は多くの計算資源を必要とし、その結果、応

皆さんこんにちは Acroquestのデータサイエンスチーム「YAMALEX」のチームリーダ、@tereka114です。 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 大規模言語モデル（通称：LLM）は近年、非常に注目される技術となりました。 ただ、7Bや13Bといった巨大モデルのパラメータは推論時間も長時間で計算時間の面からも運用が非常に難しいです。 しかし、vLLMを使えば、高速化できます。本記事では、推論をどこまで高速化できるのかを検討したいと思います。 ※本記事はLLM・LLM活用のAdvent Calendar 24日目の記事です。 qiita.com vLLMとは？ vLLMによる高速化実践 vLLMを利用しない場合 vLLMを利用する vLLMに加えてAWQを利用して量子化する Auto Prefix Caching

この記事はQiita LLM・LLM活用 Advent Calendar 2024の7日目の記事です。 ここではQwen2-VLを例に、画像に対するBounding Boxを入力や出力に含む対話生成の例を見ていきます。 なおこの記事中における「理解」は、バウンディングボックスの概念が伝わるのみならず、テキストで表現されたバウンディングボックスの座標が画像中の正確な座標と結びつくことを意図しています。 VLMがBounding Boxを理解できる理由 一部のVLMは訓練時に明示的にBounding Boxが含まれたテキストでの学習を行っています。 Bounding Boxを明示的に学習しているVLMの例としては、LLaVA 1.5やQwen-VL (Qwen2-VL含む)、Fuyu-8Bが挙げられます。日本語特化モデルならLLaVA 1.5の学習に倣っているllava-calm2-sigli

オープンデータセットが必要だ 機械学習は数多くのコミュニティが交わりつつ発展しています。機械学習モデルを限られた人員や時間の中で円滑に作成するには、情報資源を有効に活用する必要があり、オープンソースだけではなく、データも再利用しやすい形で公開するオープンデータセットの必要性が急速に高まっています。 しかし、OSS精神あふれる開発者が huggingface 等のプラットフォームを用いてデータセットを公開したいと考えても、数多くあるライセンスの中でどのライセンスを選択すれば良いのか、そもそも何を公開して良いのかというのは、非常に悩ましい問題であり、データセットを公開するハードルは高くあり続けています。公開に足踏みするために、データセットがコミュニティ内部でのみ使用されているケースが数多くある状況を、もったいないと感じ、そのような問題意識の上で本稿を執筆しました。 本稿では、データセット向けの