昨年末から急激に話題を呼んだChatGPT、その内部的なバージョンアップであるGPT-3.5とGPT-4はいずれもMicrosoftから強力な支援を受けた米OpenAIという企業が独占的に提供する大規模言語モデル（LLM）だ。 それに呼応するかのように、Meta社からはLLaMA（ラマ）がリリースされ、LLaMAをChatGPTとの1万3千回の会話データで微調整したAlpaca（アルパカ）、AlpacaをShareGPT（GPTとの会話を有志がオープンにしたもの）のデータで微調整したVicuna（ビクーニャ）といった派生モデルが次々と登場した。 しかし、LLaMAはMeta社の意向により「アカデミック用途限定」という縛りがある。またGPTの出力にはOpenAIの利用規定で「GPTの出力結果を元にGPTに対抗できる強力なAIを作ってはいけない」という制約があるため、AlpacaもVicuna

langchainのアップデートで追加された"Contextual Compression Retriever"を使用して,200ページ超のwebページを読みこませたQ&Aボットを作成するOpenFOAMOpenAIChatGPTlangchain記事投稿キャンペーン_ChatGPT TL;DR OpenFOAMというCFDライブラリのユーザーガイド(総209ページ)をopenai embeddingsを用いて埋め込み生成した。 生成した埋め込み生成をContextualCompressionRetrieverで圧縮した。 圧縮した埋め込みをRetrievalQAで指定し、Q&Aボットを作成した。 結果として、破綻なく回答できている印象 使用したホームページ 今回はCFDライブラリのOpenFOAMのユーザーガイドを使用しました。(https://doc.cfd.direct/openfo

話題の ChatGPT + LangChain で、膨大な PDF ドキュメントの内容を爆速で把握するPDFOpenAIChatGPTlangchain記事投稿キャンペーン_ChatGPT はじめに 本記事では、ChatGPT と LangChain の API を使用して、PDF ドキュメントの内容を自然言語で問い合わせる方法を紹介します。 具体的には、PDF ドキュメントに対して自然言語で問い合わせをすると、自然言語で結果が返ってくる、というものです。 ChatGPT と LangChain を使用することで、下記のような複数ステップの仕事を非常に簡単に実行させることができます。 PDF ドキュメントからテキストを抽出して複数に分割する 分割したテキストからテキスト間の関連を表すベクターデータを作成する 作成したベクターデータをベクターストアに格納しておく ChatGPT に外部から与

米オープンAIのChatGPT（チャットGPT）は高性能な対話型AIとして世界中で注目を集めた。ChatGPTは大量のテキストを学習した「大規模言語モデル」というタイプのAIだ。このAIは自然な文章を作るのが得意だが、数学のように論理的な思考を組み合わせるのが苦手だ。ところが問題文の最後にある「呪文」を付け加えると、見違えるように問題の正答率が上がる。その呪文はこうだ。「Let's thin