概要 本記事では、Gemini、Claudeの各LLMでPDFを読み込ませてmarkdownへ変換し、その際、文章の欠落がないかの精度や、その処理で発生する料金について比較した結果を紹介します。 一方で、GPTは現時点でPDFを扱えないので対象外としています。 LLMによるPDFからmarkdownへの変換 Claudeの公式ドキュメントによると以下の流れでPDFを読み込み扱えるようにしているようです。 ドキュメントの内容を抽出 ドキュメントの各ページを画像に変換 各ページからテキストが抽出され、ページの画像とともに提供 文書をより深く理解するために、テキストと画像の両方を分析 ドキュメントは分析用にテキストと画像の組み合わせとして提供 これにより、ユーザーは、グラフ、図、その他の非テキストコンテンツなど、PDF の視覚要素に関する洞察を求めることができる ドキュメントをmarkdownへ

当社では「息を吸うように」他社から学ぶのですが、たとえば採用。事業や採用におけるcompetitorの採用情報にアップデート（ポジション公開/クローズ）があればSlackに通知されるようになっている。ベッテク。採用ポジションの変化に、事業の変化が現れる。https://t.co/kERfXRuk80 — 石黒 卓弥｜Takaya Ishiguro (@takaya_i) February 8, 2023 YOUTRUST の転職意欲変更通知に対して、emoji をつけると自動的に採用管理システム から過去に接触履歴がないかを確認して候補者体験を毀損しないようにしたり、 などなど、主に GASやPython、Zapier を組み合わせて、手を動かしてきました。 本記事では、最新作として生成 AI を活用したスカウト文生成アプリケーションを Streamlit in Snowflake で実装

"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)

こんにちは。Ubieでアナリティクスエンジニア/データアナリストをやっているむらなかです。 2024年5月に入社し、2ヶ月半の育休を挟んで10月に復帰しました。 医療ドメインは想像以上に奥深く、プロダクトの幅広さやデータの複雑性も相まって、毎日が新たな学びと挑戦の連続です。入社して間もない私にとって、新しい概念や膨大な情報を整理する作業は、大きな認知負荷となりがちでした。 Ubieでは全社的に生成AIの活用に力を入れており、BIチームでも互いの生成AI活用事例を共有しながら生産性向上を図っています。生成AIをうまく使うことで、前述の認知負荷も軽減できそうだと感じていて、実際、プロンプトの工夫次第でSQLやデータモデルの理解、分析要件整理など、日常的な業務をスムーズに進められるようになりました。 私のチームではスクラムを採用し、story pointを振ってベロシティを計測しているのですが、

この記事は、技術同人誌/技術を取り巻く様々な執筆 - Qiita Advent Calendar 2024 - Qiitaの16日目です。 ChatGPTやClaudeなど（以下、LLMと呼ぶ）を使って技術文章を書くというのは、まだまだ発展途上の分野です。「LLMに丸投げすれば楽ができる」という単純な話ではありませんし、逆にLLMを全く使わないのももったいないです。この記事では、筆者が実際に技術同人誌を執筆する中で得た、LLMを活用した効率的な文章作成の具体的なノウハウを解説します。 この記事を読むことで、以下のような知識が得られます。 LLMを活用した効果的な校正・推敲の方法 著者の文体や個性を保ちながらLLMを活用するテクニック 原稿の質を高めつつ執筆時間を短縮するためのプロンプト設計 各種LLMモデルの特性を活かした使い分け方 対象読者は、ブログや技術同人誌を書いている、あるいはこれ

はじめにNotebookLMは、PDF、Google Docs、テキストファイル、ウェブページのURLなど、さまざまな形式のデータソースをアップロードでき、アップロードしたデータから必要な情報を引き出したり、読み進めたりする手助けをしてくれます。 「このように振る舞ってね」といったプロンプトを与える必要はなく、データをアップロードして質問をぶつけるだけ… ですが、データソースに「プロンプト」を置くと「プロンプト」をガイドラインとして対話を行ってくれますので、論文を効率的に読むことを支援する「論文読解アシスタント用のプロンプト」を作成してみました。 データソースにプロンプト置くとどう変わる？ 以下は、「このプロンプトがある時／ない時でどうなん？」に対するNotebookLMの回答です。 論文読解アシスタント用プロンプトの効果 NotebookLM単体での論文読解 NotebookLMは、Go

はじめに ELYZA 研究開発チームのSam (@SamPassaglia)、平川 (@h__must__)です。 本記事では、日本語に特化した Mixture of Experts (MoE)モデル構築への挑戦、およびアプローチの転換を余儀なくされた経緯について解説します。 ELYZA は、日本の生成AIの開発力強化を目的とした経済産業省主導のプログラムである Generative AI Accelerator Challenge (GENIAC) に採択され、H100数百基をはじめとする計算資源の利用や関係者間の連携促進等のご支援をいただきながら、2024年5月から8月までの約3ヶ月間に渡り日本語汎用基盤モデルの開発を行いました。 私たちの当初の計画は、オープンソースの MoE モデルの最高峰である Mixtral 8x22B をベースに、日本語に特化した高性能な MoE モデルを構築

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? コード品質はどうなる？生成AIとの最適な協働とは？〜コード×AI疑問解消会〜 参加したので議事として残します。 https://findy.connpass.com/event/333534/?utm_campaign=&utm_source=notifications&utm_medium=email&utm_content=title_link 疑問: プロンプトを学ぶ必要はあるか? タスクの多様性と一回性を考えると、完璧なプロンプトを作る必要はない 即興で使い捨てのプロンプトを生み出し、AIとの対話を通じて出力を調整する能力が重視

この記事は、Cyber-sec+ Advent Calendar 2024の3日目の記事です。 はじめに（この記事について） 2024年10月24日にOWASPから公開された「LLM and Generative AI Security Solutions Landscape」（Version Q4 2024）の和訳をもとに、大規模言語モデル（LLM）／生成AIアプリケーションに関するセキュリティモデルと、脅威に対するセキュリティソリューションの理解を深めることを目的とした記事になります。本章以降はドキュメントの和訳を記載しており、筆者の補足や感想を黄背景のinformation形式で追記しています。（特別LLMや生成AIに詳しいわけではないのでご容赦ください。） ドキュメント中の図およびソリューション一覧（Landscape Solution Matrix）については省略をしているため、

早いもので師走ですね。 今年は弊社の1期目ということもあり、気が付けば終わってたという感じなのですが 私からは今年最後となる（おそらく）Tech-Blogをお届けできればと思います。 モチベーション🔥 少し前に、経営戦略 ~ 経理などの幅広でプロダクトを考えている時期がありました。 現在は少し中身がつまりつつあるのですが、いかんせんこの分野で言えることは独自フォーマットでの管理や手集計のために手元用に最適化されたプロセスが多く、データ基盤として一元管理するにせよ、作り込みや整形・紐解きの負荷が大きすぎるなという印象でした。 そんな中ご存じの通り、昨今のLLMの進化は目を見張るものがあります。 先週にはOpenAIから o1-pro が発表され、より強力にそして最適化されたモデルが来年以降も登場してくるのでしょう。 では、プロダクト（本番）として十分利用可なLLMモデルがどんどん登場してく

Google Cloud Champion Innovators Advent Calendar 2024 の 12 日目の記事です。 はじめに LLM が広く普及し、活用範囲が急速に拡大してきたことで、ツール連携機能を活用した AI エージェントを構築する機会も増えてきています。このような LLM とツールの連携により、チャットインターフェースから様々なシステムやサービスを制御・自動化できるようになりました。 しかし、AI エージェントの開発には2つの困りごとがあると感じています。1つ目は、複雑な指示を処理するために必要な高性能モデルの応答速度が遅い点、2つ目は複数のプロジェクトでツールを再利用する際の実装効率の問題です。 本記事では、これらに対する解決策の一例を紹介します。LLM から BigQuery を操作するユースケースにおいて、応答速度が遅い点については Gemini 2.0

Google Cloud Japan Advent Calendar 2024 の 10 日目にリリースすることを目指していた記事です。 本日のテーマは Cloud Run で Gemma 2 を動かす方法、そして GKE を利用した場合との違いについて簡単にご紹介する記事です。GKE で Gemma 2 を動かす方法については今年のアドベント カレンダーの 3 日目の記事である Gemma2 を GKE 上でいい感じに動かしたい (推論編) に解説がありますので、よろしければそちらも併せて読んでいただけますと幸いです。 なお、本記事はあくまでも Cloud Run がメインなので推論ライブラリのパラメータなどのチューニングは扱いません。また、Cloud Run と GKE のどちらかのみをおすすめするという趣旨でもありません。言語モデルをホストする際に Cloud Run と GKE の

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事は SecHack365 Advent Calendar 2024 の 9 日目の記事です。 SecHack365'24 開発駆動コース仲山ゼミ トレーニーの @newt239 です。有志トレーニー（&アシスタント）によるアドカレということで、今年度 SecHack365 で開発している UI コンポーネントライブラリ「Ginga UI」についての話をしようと思います。 これはなに？ 文章で説明するより見てもらったほうが早いと思うので、まずは以下のツイートをご覧ください。 私のポートフォリオサイト上に実装した「LLM に配色を生