はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい

クラスAは5％下がってしまいましたが、クラスBは+10%、クラスCは+15%になりました。実は先程のmicro averageによる精度を計算すると、 5000×90% + 100×80% + 25×65% ÷ (5000+100+25) = 89.7% 5％近く下がっています。全体の精度が下がったほうが嬉しい、ちょっとおかしいですよね。 microとmacro この感覚のズレを解消するために、macro averageによる精度を計算します。macro averageとはクラス単位の精度を単純平均で求めます1。 前者：(95% + 70% + 50%) ÷ 3 = 71.7% 後者：(90% + 80% + 65%) ÷ 3 = 78.3% 直感と一致しました。microを使うか、macroを使うかは問題によりけりです。macro averageで集計するコンペもあります。不均衡データ対

固有表現認識は自然言語処理の基礎技術であり、様々なタスクの要素技術として使われます。たとえば、情報抽出や対話システム、質問応答といった応用システムの中で固有表現認識は使われることがあります。また、関係認識やEntity Linkingといった基礎技術で使われることもあります。 従来の固有表現認識では、言語に特有な特徴や外部知識に依存した手法が使われていました。これらの手法では、特徴を人間が定義することで、高性能な認識を実現していました。ただ、言語依存の特徴を使うため、モデルを新しい言語に対して適用する際のコストが高くなる問題があります。 本記事では、ディープラーニングを使って言語的な特徴や外部知識に依存しない固有表現認識器を作成します。本文は以下の内容で構成されています。 実装するモデルの説明 モデルの実装 モデルの学習 全体のコードは以下のGitHubリポジトリにあります。スターしていた

R&D チームの徳田（@dakuton）です。 過去何回か、Tech Blog記事にてPDFやOCR、自然言語処理に関する手法を紹介してきましたが、今回もそちらに関連する内容です。 過去記事 tech-blog.optim.co.jp tech-blog.optim.co.jp tech-blog.optim.co.jp やりたいこと PDFからテキストを抽出する際に含まれる、中途半端な位置にある改行を除去することが目的です。 シンプルな方法としては、句点(。)の位置をもとに改行する方法ですが、今回はspaCy(とGiNZA)を併用した場合にどうなるかを試してみることにします。 テストデータ 今回は、下記記事のPDFを使用しました。 財務省「ファイナンス」令和３年2月号 の「ポストコロナ時代を形作る、コロナ禍で生まれるDX（デジタルトランスフォーメーション)」 1 メディア掲載情報: 財務

はじめに R&Dチーム所属の伊藤です。相も変わらず自然言語処理と格闘する毎日を送っています。 今回は個人的にとても楽しみにしていたGiNZA v5の新モデルであるja-ginza-electraを使って、前後の文脈を加味した単語ベクトルを求められるようにするまでの手順をまとめました。 はじめに GiNZA v5について セットアップ モデルのロード + 文の解析方法 行いたいこと Contextualな単語ベクトル ELECTRAモデルの出力と単語ベクトルの計算 spaCyのUser hooksの追加 おわりに GiNZA v5について GiNZAはspaCyをベースにしたPythonの日本語向け自然言語処理ライブラリです。 形態素解析をはじめとして、固有表現抽出や品詞タグ付け、構文解析などを行うことが可能です。 このGiNZAですが、2021年8月26日に最新バージョンであるv5が公開さ

この記事は自然言語処理アドベントカレンダー 2019の12日目です。 昨今自然言語処理界隈ではBERTを始めとする深層学習ベースの手法が注目されています。 一方それらのモデルは計算リソースや推論速度の観点で制約が大きく、プロダクション運用の際は留意すべき事項を多く持ちます。 （googleが検索にBERTを導入というニュースを見た時はとても驚きました） そこで本記事では自然言語処理タスクのシンプルかつ運用しやすい実装方法を考えていきます。 実装にはpythonと以降説明するspaCyとGiNZAの2つのライブラリを使います。 環境: ubuntu18.04 python 3.6.8 ライブラリインストールはpipから行います pip install spacy pip install "https://github.com/megagonlabs/ginza/releases/downlo

本記事は、2021年度PFN夏季インターンシップで勤務した平川雅人さんと畠山智之さんによる寄稿です。 はじめに 2021年度PFN夏季インターン生の平川雅人と畠山智之です。 今回のインターンでは、表形式データに対して様々な深層学習モデルを試すことができるライブラリを共同で開発しました。開発したライブラリは https://github.com/pfnet-research/deep-table で公開しています。 背景 近年、深層学習は画像や自然言語、音声の分野で目覚ましい成功を収めてきました。しかし表形式データに対しては、深層学習はそのような成功を遂げることは少なく、いまだにXGBoostやLightGBMのような決定木ベースのモデルが主流となっています。 深層学習の有望な手法として、決定木のアンサンブルを模倣して勾配ベースの学習を可能にしたNODE [1] や、スパースなattenti

はじめに こんにちは、Data Strategy所属の岡です。グループ会社BASE BANKで分析/モデリングなども兼務しています。 テキストデータを特徴量にもつ不均衡データ分類問題をDNNで解きたくなった際、下記の論文を参考にしたのでその内容を紹介します。 https://users.cs.fiu.edu/~chens/PDF/ISM15.pdf 不均衡データ分類問題ってなに？ 何かしらのカテゴリを機械学習などで分類予測しようとする際、カテゴリごとのデータ件数に偏りがある、特に正例のデータが極端に少ないケースで予測精度が上がりにくい、という問題をこのように呼んでいます。 例: 不正決済と正常な注文、不正商品と健全な商品、がん患者と正常な患者 普通はどうやって対処するの？ ベースとなるアプローチは下記3つにまとめられます。 アプローチ 内容 デメリット アンダーサンプリング 多数派データを

損失関数・不均衡 不均衡データにおけるsampling ランク学習のListNetをChainerで実装してみた 不均衡データへの決定打となるか！？「Affinity loss」の論文を読む、実装する 不均衡データを損失関数で攻略してみる 解説編：オーバーサンプリング手法解説 (SMOTE, ADASYN, Borderline-SMOTE, Safe-level SMOTE) LightGBMでランキング学習 半教師あり学習のこれまでとこれから Struggling with data imbalance? Semi-supervised & Self-supervised learning help! 深層学習 転移学習：機械学習の次のフロンティアへの招待 ディープラーニングの判断根拠を理解する手法 DNC (Differentiable Neural Computers) の概要 +

【第40回AIセミナー】 「説明できるAI　〜AIはブラックボックスなのか？〜」 https://www.airc.aist.go.jp/seminar_detail/seminar_040.html 【講演タイトル】 機械学習モデルの判断根拠の説明 【講演概要】 本講演では、機械学習モデルの判断根拠を提示するための説明法について紹介する。高精度な認識・識別が可能な機械学習モデルは一般に非常に複雑な構造をしており、どのような基準で判断が下されているかを人間が窺い知ることは困難である。このようなモデルのブラックボックス性を解消するために、近年様々なモデルの説明法が研究・提案されてきている。本講演ではこれら近年の代表的な説明法について紹介する。Read less

1.はじめに 皆さん、Neural Network Console をご存知でしょうか？ Neural Network Console は、2017年8月にSONYから発表されたディープラーニングの統合開発ソフトウエアです。プログラミング無しのドラッグ＆ドロップだけで簡単にニューラルネットワークの設計開発が出来、しかもワークステーションの様な美しい画面なのに、なんと無料で提供されているんです（なんて太っ腹な！）。 かく言う私も、Pythonを覚えなくてもディープラーニングが出来ると言うことに凄い魅力を感じ、発表当初から１年間くらいは色々遊んでみた記憶があります。 最近、ひょんなことから、Neural Network Console 関係の動画がやたら充実（2020年1月17日時点で47本）していることに気づきチェックしてみると、チュートリアル以外にディープラーニングの一般的な知識について分

The Qiita Advent Calendar 2019 is supported by the following companies, organizations, and services.

と再帰的に計算できます． 価値関数 V(s) ある状態 $s$ からスタートしたときのリターン $C$ の期待値を価値関数 $V(s)$と呼びます．例えば，時刻$t=0$での状態 $S_0$ を $s$ としたとき，$V(s) = \mathbb{E}[C_0|S_0=s]$と表現されます． 効用関数 q(s,a) 価値関数 $V$ は状態 $s$ の関数($V(s)$)でしたが，更に行動も含む関数として，効用関数$q(s,a)$が存在します．同じ状態$s$に対して，$q$が大きくなるような$a$がより良い行動であるということになります． 行動価値関数 Q(s,a) リターンを用いた効用関数として，行動価値関数(Q関数)があります．時刻$t=0$からのリターンを用いると，$Q(s,a) = \mathbb{E}[C_0|S_0=s,A_0 = a]$として表されます． 方策モデル 方策をど

Netflixは2019年12月3日（現地時間）、データサイエンスプロジェクトを迅速かつ容易に構築、管理するためのフレームワーク「Metaflow」をオープンソースソフトウェアとして公開した。 MetaflowはNetflixが開発したPythonライブラリ。コンテンツ配信やビデオエンコーディングの最適化など、社内の何百ものユースケースに2年間、Metaflowを用いてデータサイエンスを適用してきたという。 なぜMetaflowを開発したのか Metaflowの開発が始まる前、Netflixの機械学習インフラチームはデータサイエンティストに対して社内では何が困難なのかをインタビューした。大規模なデータの扱いやモデル作り、最新GPUに関した回答が集まると当初は考えていたものの、予想は外れた。 最も困難だったのは、「バージョン1」のローンチに到達するまであまりにも時間がかかることだったという。

たった1人からはじめる【Agile Community of Practice】～ソース原理とFearless Changeを添えて～

○：良好 ▲：実施しているが、表示不能 △：一部可能 ×：実装されていない or 良好ではない 4.2. Google/AutoML Tables 統計・機械学習に詳しくない方をターゲットにしていると感じました。 統計情報の表示画面・モデルの評価画面ともに説明が丁寧で、知識が少なくともある程度の結果を出せるように作られていると感じました。 一方、データの読み込みや処理などに癖が強いためこのサービスを含めたgoogle cloud platformへの知識は必要になりそうです 良い点 統計情報の表示画面が非常に優秀 ヘルプが充実しているため、モデルの評価が容易 悪い点 データ形式の制約が多い(行数1000行以上、分類ならクラスごとに20以上必要など) モデルの内部構造(採用した手法)が分からない 分析ページのサンプル画像 データの種類を自動判別してくれる他、欠損や固有値、各種統計情報を自動計

5. 5 目録 ◼ 私の失敗体験談（不均衡データの学習） ◼ 機械学習開発における壁 • 機械学習のビジネスフレームワーク「5D」 • Define（定義する） • Data（データを集める） • Development（開発する） • Deploy（実装する） • Drive（運用する） ◼ ビジネス応用における壁 • AIを使ったキュウリの自動選別 • 機械学習を使って売り上げに貢献する • 機械学習を使わない選択肢 ◼ まとめ 6. 6 目録 ◼ 私の失敗体験談（不均衡データの学習） ◼ 機械学習開発における壁 • 機械学習のビジネスフレームワーク「5D」 • Define（定義する） • Data（データを集める） • Development（開発する） • Deploy（実装する） • Drive（運用する） ◼ ビジネス応用における壁 • AIを使ったキュウリの自動選別 • 機

ディープラーニングを使った異常検知が進歩していますが、最新情報を追うのが大変です。 ここでは、最新情報をまとめておきます（随時更新）。 本稿では、以下の内容を記します。 ディープラーニングを使った異常検知について、簡単に歴史をまとめます。 最新の手法（2019年当時）について、ベンチマークを行います。 歴史 完全に独断と偏見で作った歴史です。 全ての論文は読めていないので、ご了承ください。 【～2017年】オートエンコーダによる異常検知 オートエンコーダによる異常検知 2、3年前はオートエンコーダによる異常検知が主流でした。オートエンコーダでは、元画像と再構築画像との差をとって、その和が大きいとき異常と認識させています。Qiitaの記事でも、オートエンコーダによる異常検知はたくさんありますので、気になる人は探してみてください。 Variational AutoEocoder（VAE）による

フレームワークに頼らずVulkanで畳み込みニューラルネットワークを実装する方法を解説します これは2019年7月20日に行われた 第15回 カーネル／VM探検隊 での発表資料です サンプルコード: https://github.com/Fadis/kernelvm_20190720_samples

Courses: Practical Deep Learning for Coders; From Deep Learning Foundations to Stable Diffusion Software: fastai for PyTorch; nbdev Book: Practical Deep Learning for Coders with fastai and PyTorch In the news: The Economist; The New York Times; MIT Tech Review Corporate partner program: Get help with fast.ai technologies & courses from the partner program Blog