こんにちは、Communeでデータサイエンティストをしているひぐです。 最近、LLMと周辺エコシステムの発展により、自律性と意思決定能力を持った"AIエージェント"の実現が現実味を帯びてきました。 例えば先日、sakana ai社から、AIが自律的にアイディアを複数案だして、実験内容を決定し、コードを修正した上で実験を回し、論文を書くようなシステムが発表されました。 AIエージェントは上手く組めば複雑なタスクを自律的に処理できるため、これまで規模が小さかったり、収益性が見込めなかった市場でも、人が介在せず、従来実現できなかった効率や少ないコストでタスクを完遂できるようになります。 つまり市場を新たに創出できる可能性があり、ビジネス観点でも非常に興味深い技術といえるでしょう。 一方で、AIエージェントの実装には、遅くて高コストで不安定なAPIを複雑につなぎ込む技術的な難しさや、開発エコシステ

This Python script is an example of an AI-powered task management system. The system uses OpenAI and vector databases such as Chroma or Weaviate to create, prioritize, and execute tasks. The main idea behind this system is that it creates tasks based on the result of previous tasks and a predefined objective. The script then uses OpenAI's natural language processing (NLP) capabilities to create ne

2022-08-27 データ抽出に特化したAirbyteによるEL(T) 環境構築の実践 データ基盤 Airbyte ELT こんにちは。今回は、データ基盤の構築の一部を実際に体験してみたいと思います。 データ基盤を作成するにあたり、まずは、社内に眠る様々なデータを集めてくる必要があります。前回の記事では、その機能を「収集」と紹介していました。 データ基盤とは何か… データ基盤 データ分析基盤 実践 2022-08-18 Metaflowでモデルの学習をpipeline化するまで MLOps Metaflow Pipeline 皆さんは「MLOps」について取り組んでいらっしゃるでしょうか。私は2018年頃からデータクレンジングや機械学習モデルの構築や運用をしてきましたが、当時の日本で私の耳にはMLOpsという言葉が入ってくることはありませんでした。 ただMLOpsの元となった「Dev…

（報道発表資料） 2020年6月3日 日本電信電話株式会社 令和版単語親密度データベースの構築と語彙数推定テストの作成 ～語彙数推定から学習支援へ～ 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：澤田　純、以下「NTT」）は、約20年前に作成した、単語のなじみ深さを示す単語親密度のデータベースを更新し、約16万3千語からなる『令和版単語親密度データベース』を構築しました。 また、小中高校生を含む約4,600人の語彙数調査を実施し、各学年・年齢における語彙獲得状況を、単語親密度に対応付けてモデル化しました。この結果は、児童・生徒がこれから獲得していくであろう、あるいは獲得した方がよい語を見つけ出す手がかりとして単語親密度が有効であることを示唆します。これらの分析結果を反映し、令和版語彙数推定テストを作成しました。 本成果は、言語心理学や自然言語処理などの学術分野では、基盤的言語

ゆる言語学ラジオ#4の内容を訂正しようと思ったけども、その前に「部首」の誤解を解きたいと思いました～もうこの単語を学問の場で使わないでください～ この記事のモチベーション最近以下の動画が話題（のよう）だ。正確にはこの動画の投稿集団が話題で、この動画はその中では比較的地味な方である。 悶・聞・関、部首が「門」なのはどれ？ #4 https://www.youtube.com/watch?v=v2vY-H1FAHM ただ、しかし、この動画で語られることは、漢字に関する誤解に満ちている。正直、どこから突っ込んでいいのやらという感じで、語られる結論が間違っているとかではなく、おそらく話し手たちが根本的に漢字・漢語と文字学（それは知識だけでなく研究伝統・研究史や方法論・考え方を含む）を誤解している。コメント欄も含めて目を覆いたくなる。 例えば、架空の人物が「“人”という字は人と人とが支え合ってるよう

Launch VS Code Quick Open (Ctrl+P), paste the following command, and press enter. テキスト校正くん VS Code上でテキストファイル・Markdownファイル・Re:VIEWファイルの日本語の文章をチェックする拡張機能です。該当のファイルを開いた時、更新した時に自動で校正のチェックを行い、文章内の問題のある箇所をマーキングし問題パネルにエラー内容を表示します。 メールの文章を作成する際やブログ記事の文章を作成する際などに、ご使用いただくと便利です。 ウェブ業界の専門用語を含め、一般的な文章のルールに沿って主に以下のようなチェックを行います。 「ですます」調と「である」調の混在 誤検出の回避のため「である調」の判定は明らかに常体な「〜である」のみとなっています。 ら抜き言葉 二重否定 同じ助詞の連続使用（※初

中村明博（編集者） @naka727 【編集者からのお願い】 著者やライターさんへ、原稿が完成したら、 ・「という」をカット ・「と思います」をカット ・「こと」をカット ・「もの」をカット ・過剰敬語をカット できないか見直していただけないでしょうか。ざっとでもかまいません。関係者全員が幸せになります。なにとぞ、、！ 中村明博（編集者） @naka727 【なぜこんなお願いをするか】 誰かが直さなければならないからです。その分、「磨き上げ」の時間が減り、本のクオリティーが落ちます。本の売り上げが落ち、関係者全員が不幸になるためです。 中村明博（編集者） @naka727 さらに可能なら、 ・40字を超える長文は短く・簡潔にする ・「これから説明します」的な余計な前置きはカット ・「ひとつ・1つ」「ひとり・1人」あたりの表記統一を行う このあたりまで見ていただけると、編集者はみな泣いて喜び

傘 @GerkMco @tao_reco 音位転換（メタセシス）ですね。これは子音だけが入れ替わっているわけですが、このような例は幼児期にしか観察されない貴重なデータです。 2021-01-16 13:04:58 傘 @GerkMco @tao_reco ちなみに/p/と/k/は（簡単に言うと）両方とも一回息を止める音（閉鎖音）という点で、/s/と/t/は両方とも舌を歯茎に近づけるかくっ付ける音と言う点で共通しています。つまり、お子さんは無意識に似ている音をひっくり返しているわけです。子どもの言い間違いって面白いですよね。 2021-01-16 13:06:26

事業開発部の @himkt です．好きなニューラルネットは BiLSTM-CRF です． 普段はクックパッドアプリのつくれぽ検索機能の開発チームで自然言語処理をしています． 本稿では，レシピテキストからの料理用語抽出システム nerman について紹介します． nerman の由来は ner (固有表現抽出 = Named Entity Recognition) + man (する太郎) です． クックパッドに投稿されたレシピから料理に関する用語を自動抽出するシステムであり，AllenNLP と Optuna を組み合わせて作られています． （コードについてすべてを説明するのは難しいため，実際のコードを簡略化している箇所があります） 料理用語の自動抽出 料理レシピには様々な料理用語が出現します． 食材や調理器具はもちろん，調理動作や食材の分量なども料理用語とみなせます． 「切る」という調理

OpenAIが発表した言語モデルGPT-3はパフォーマンスの高さから各方面で注目されており、ついにはMicrosoftが学習済みモデルの利用を独占化しました。 私個人の所感としてこれまで学習済みモデルは無料公開するという流れを無視し、（アーキテクチャではなく）学習済みモデルが商品化するのはAIビジネスの一つの転換期と感じています。 深層学習による自然言語処理分野で巨大化していくモデルを十分に学習させるためにはWebデータの活用が大きな役割を果たしています。一方、その量に関する話題はあるものの、利用にあたっての細かな前処理に関する議論はあまりなされていない印象です。 そこで本記事は学習データの構築にフォーカスします。 GPT-3の論文でも言及されている通り、学習データはGoogle Researchが発表したT5のデータを踏襲したと書かれていますので、まずはT5のデータから見て行きましょう。

Amazon Web Services ブログ 日本語形態素解析器 MeCab を Python から利用する際の語彙データ（UniDic）が AWS 上で Open Data として公開されました 多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の特性に即した形で前処理を行う必要があります。日本語の自然言語処理を実施する際には、形態素解析と呼ばれる文章の分解処理を前位処理として一般的に行います。日本語形態素解析を行うためには、日本語の語彙データが必要となりますが、このデータは通常 GB 以上のサイズに及ぶ大きなサイズとなります。またこれらを用いた計算の際にも大量の GPU および CPU を必要とするため、従来こうしたモデルを構築する際には常にストレージおよびコンピューティングのリソースの

概要 ホント誰得でもないのは重々承知していますが、思い立って 形態素解析器 kagome v2 をリリースしました。とはいっても、だいたいの機能は今ある kagome でも実装済みで、今さら変更してもどうよ・・・という感じではあります。 なので、モチベーションを維持するのが非常に難しくて、だらだらと時間だけがかかってしまいました。 折角作ったのでリリースノートです。 TL;DR; v2 で実現した事 辞書の分離 / バージョン管理 辞書毎に異なる素性項目の扱いの共通化 韓国語辞書対応 辞書の分離 辞書を別リポジトリに分離しました。これにより、長年(?)懸案だった辞書のバージョン管理が可能になりました。go.mod で指定すれば、どのバージョンの辞書を利用しているかがわかります。 また、これにより、これまで kagome.ipadic のような単独辞書を利用するだけのためのライブラリを別に切

R&D チームの徳田（@dakuton）です。 最近、spaCyの日本語版モデルが正式サポートされたのでいろいろ触ってみたところ、解析結果ビジュアライズを全部まとめるStreamlitアプリも同じ月に提供されていることがわかったので、今回はそちらを紹介します。 なお、ビジュアライズ機能の一部(係り受け解析)は1年前の記事「その他」で紹介しています。 tech-blog.optim.co.jp 実行手順 spaCyのUniverseプロジェクトであるspacy-streamlitをインストールします。 pip install spacy-streamlit 起動用スクリプト(streamlit_app.py) import os import pkg_resources, imp import spacy_streamlit models = ["ja_core_news_lg", "ja_

2. ⾃自⼰己紹介 海野  裕也 l  -2008 東⼤大情報理理⼯工修⼠士 l  ⾃自然⾔言語処理理 l  2008-2011 ⽇日本アイ・ビー・エム（株）東京基礎研 l  テキストマイニング、⾃自然⾔言語処理理の研究開発 l  2011- （株）プリファードインフラストラクチャー l  ⾃自然⾔言語処理理、情報検索索、機械学習、テキストマイニングなど の研究開発 l  研究開発系案件、コンサルティング l  JubatusやChainerの開発 l  最近は対話処理理 NLP若若⼿手の会共同委員⻑⾧長（2014-） 「オンライン機械学習」（2015, 講談社）2

はじめに Pure Rubyな形態素解析器Suikaを作成した。開発中でバッリバリにα版だが、思い切ってリリースすることにした。 suika | RubyGems.org | your community gem host 最も有名な形態素解析器であるMeCabもそうだが、形態素解析器は食べ物の名前がつくことが多い。「Rubyなので赤い食べ物が良いかな」と考えて、文字数とかわいらしさからSuika（スイカ）とした。 使い方 SuikaはPure Rubyで作られているため、MeCabをはじめ特別なライブラリを別途インストールする必要はない。 gem install suika バッリバリにα版なので、機能はないに等しく、オプションなしのMeCabコマンドと同様となる。 $ irb irb(main):001:0> require 'suika' => true irb(main):002:

A Quick Overview �to Unlock the Potential of LLMs �through Prompt Engineering

はじめに 本記事では2020年3月~6月にかけて開催され、約2200チームが参加したKaggleのコンペ Tweet Sentiment Extraction（通称Tweetコンペ）について、振り返りを兼ねてまとめたいと思います。 はじめに コンペ概要 データ データ数について Sentimentについて 元データについて 評価指標 BERTによるQ&Aアプローチ Question Answeringについて 本コンペにおけるアプローチ QAアプローチの課題 最後に コンペ概要 Tweetと正解ラベルの例 まず初めに本コンペのポイントをいくつか挙げます Sentimentラベルの与えられたTweetから、そのSentimentに該当する箇所を抜き出す課題。 アノテーションの問題で正解ラベルにノイズが多く含まれており、noisy labelへの対処もポイントとなった。 BERTやRoBERT