はてなブックマーク

生成AIの登場によって、レコメンドの仕組みが大きく変わろうとしています。例えば、ChatGPTにおすすめのマンガを聞いてみると、各漫画の特徴を捉えたうえで、おすすめしてくれます。 ChatGPTによるマンガのレコメンド例生成AIはレコメンドタスクを解くように開発されたわけではないですが、あらゆるジャンルにおいてある程度の性能でレコメンドできてしまうのは、とても驚異的なことです。また、推薦理由の提示も当たり前のようにしてくれるのも驚きです。従来のレコメンドでは、アイテムの並び替えパートやアイテムの推薦理由作成パートなどの、それぞれのパートごとに、異なるアルゴリズムを駆使して、最終的にレコメンドをユーザーに届けていました。一方で、生成AIでは、その一連の作業が、1つのAIでできてしまいます。 このように、生成AIは、従来のレコメンドではできなかった新しいレコメンドを可能にしてくれます。この記事

ChatGPTをはじめとして生成AIのサービスが登場し、情報の検索方法が大きく変わろうとしています。この記事では、今までの検索の歴史を軽く振り返りながら、これからの検索がどのようになっていくかをまとめたいと思います。生成AIや検索システム、それらの社会やビジネスへの影響に興味のある方にとって、参考になれば幸いです。これからの検索はいろんな可能性がありとてもワクワクします。 ※あくまで一個人のまとめです。また、書いていたら思ったより長くなってしまったので、ご興味あるところを読んで貰えればと思います。 検索とはそもそも検索とはどういうものでしょうか。検索技術の教科書の定義をまとめると次のようになります。 情報検索(Information Retrieval)とは、大規模な集合(large collections)から情報ニーズ(information need)を満たす資料(material)

「テクノロジーで人々を適切な医療に案内する」をミッションに、医療プラットフォームを提供しているUbie株式会社の@masa_kazamaです。 この記事は#Ubieアドベントカレンダー5日目にエントリーしています。 今年は生成AI一色の1年でした。Ubieでは、生成AIをプロダクト活用と社内生産性向上の観点で取り組んでいます。(取り組みの詳細は、こちらの記事で紹介しています。) この記事では、社内生産性向上観点で、社内の業務プロセスに溶け込んでいて、なくてはならない使い方になっている事例を10個ご紹介します。その中のいくつかは、実際に生産性が倍以上になっていたり、外部委託のコストが半分になったりしています。この記事が、生成AIを活用している人や活用していきたい人のご参考になれば幸いです。 プロダクト活用にもいくつか事例が出ており、問診の内容を大規模言語モデル(LLM)を活用して要約する機能

2023年に東京都立大学で非常勤講師として、学部3年生向けに「機械学習〜推薦システムを題材に〜」というテーマで講義をしました。 90分×3コマ×2日間の計6コマの集中講義で、Streamlitで映画のレコメンドアプリを実際に作ってみるなどの演習も含めたものです。 昨年、大学院生向けに同様の講義を3コマ分していたので、それを拡張する形で、最近話題の生成AIの話も1コマ分用意しました。（昨年の授業資料はこちらにあります。） 推薦システムや生成AI×推薦システムについて興味ある方のご参考になりましたら。 1日目(90分×3コマ) 推薦システムの概要 推薦システム-各推薦アルゴリズム 推薦システムの周辺技術(評価指標について)

生成AIChatGPTをはじめとするGenerativeAI(生成AI)は、テレビや新聞で見ない日はないくらいに話題になっています。YouTubeでも芸人さんがChatGPTを紹介する動画が多数出ています。（個人的に、芸人かまいたちの「ChatGPTに漫才を作ってもらう」という動画が好きです。） 企業でも、ソフトバンクやNTTなどの大企業が、会社を上げて生成AIの開発・活用をしていくと発表しています。行政においても、横須賀市やつくば市が生成AIを積極的に業務に取り入れようとしています。今後ますます多くの企業・行政・個人が生成AIを活用していくと思います。 このブログ記事では、AI×医療のベンチャー企業Ubieでの生成AI活用の試行錯誤してきた取り組み事例をご紹介します。今後の生成AI活用に少しでもご参考になれば幸いです。（プロダクトへの活用はまだ検証中なため、生成AIによる社内生産性向上の

３行サマリーChatGPTを活用すると新しい読書体験が可能性がたくさんあります しかし、ChatGPTに文学作品について質問すると、間違った情報を返してきます そこで、それを解決して新しい読書体験を探るBookChatという簡易アプリを作成しました ChatGPTについてChatGPTは、OpenAI社が開発したAIサービスです。要約や翻訳などのあらゆるタスクで、人間と同じように自然な文章を生成することができます。司法試験や医師国家試験に合格するレベルという報道もあります。 そんなChatGPTを活用すれば、文学の新しい読書体験が可能になりそうです。しかし、ChatGPTには 1つ大きな問題点があります。文学作品について質問してみると、すごくナチュラルに間違った情報を混ぜ込んできます。 ChatGPTに「走れメロス」について質問例えば、ChatGPTに「走れメロス」について質問すると、全然

イントロ最近、ChatGPTやGPT-4などの大規模言語モデル(LLM)が急速に注目を集めています。要約タスクや質疑応答タスクなど様々なタスクで高い性能を発揮しています。これらのモデルはビジネス分野での応用が非常に期待されており、GoogleやMicrosoftが自社サービスとの連携を進めているという報道も相次いでいます。 今回は、手元で動作する軽量な大規模言語モデル「Alpaca-LoRA」を日本語にファインチューニングしてみました。この記事では、そのファインチューニングのプロセスや応用例について簡単に解説していきます。ChatGPTやGPT-4は、モデルがブラックボックスでありAPI経由でしか入力を与えて出力を得ることができません。さらに、現時点（2023年3月20日）では、独自のデータを用いてファインチューニングを行うこともできません。 しかし、Alpaca-LoRAというモデルを用

イントロChatGPTやBing、NotionAIなどの大規模自然言語モデル(LLM)を活用したサービスが注目を集めています。対話、要約、翻訳、アイデア生成などの多様なタスクにおいて、とても性能が高いです。ただ、ChatGPTでは、ときどき嘘が混じっていたり、文献が捏造されたりすることがあります。 ChatGPTとの対話画面（結果の書籍は存在しない）それを防ぐために、BingやPerplexityでは、文献を引用した上で、なるべく嘘が紛れ込まない形で回答してくれます。 Perplexityでは引用もつけてくれるしかし、これらのAIは、Web上の公開されている一部のデータを元に学習しているので、公開されてないデータに対しては当然ながら、正しく回答できません。 そこで、この記事では、自社が保有しているデータをChatGPTに組み込んで、自社オリジナルのPerplexityのようなシステムを作る

東京都立大学大学院で非常勤講師として、「機械学習プロジェクトの開発について(MLOps) 〜推薦システムを題材に〜」というテーマで講義をしました。９０分×３コマの集中講義で、演習も含めたものです。 自分が学生だった頃に、社会人の方の資料や講義がとても参考になってありがたかったので、講義資料を公開します。少しでも推薦システムやMLOpsの参考になりましたら。

ここ数年、様々な業界でデータサイエンティストの求人を目にします。一口にデータサイエンティストと言っても内容は様々で、画像解析やレコメンド開発など機械学習エンジニア系のものもあれば、ビジネスの意思決定を支援するようなデータアナリスト系のものもあります。（データサイエンティストの分類についてはTJOさんの記事が参考になります） この記事では、ビジネスの意思決定を支援するデータ分析に絞って、事業やプロダクト開発を加速させるのに必要なことについて、自分の思考の整理を兼ねて書きたいと思います。この記事を書くきっかけは、最近読んだデータ分析についての記事が、面白くて新しい気づきが多く、改めてデータ分析について整理してみたいと思ったからです。（だみ〜さんの記事、タカヤナギ=サンの記事） この記事は、「現場とデータの両面からの分析」と「データ分析がしやすい環境作り」がやはり大切という内容で、日頃データ分析

Ubieの2020アドベントカレンダー5日目の枠です。Ubieのデータサイエンスチームの取り組みについてご紹介できればと思います。 イントロUbieのデータサイエンスチームは、2020年に社員が2人から8人へと増えました。チームとしてデータサイエンスのプロジェクトを進めていく上で、目標管理にOKR、開発プロセスにスクラム、フラットな組織実現のためにホラクラシーを導入して試行錯誤しながら生産性をあげようとしています。チームにマネージャーは存在しておらず、メンバー一人一人がアイディアを出し合って運営方法を改善しています。この記事で紹介する内容もチームで取り組んできたものになります。 この記事では、具体例を交えつつどのようにデータサイエンスチームがプロジェクトに取り組んでいるかを失敗談を含めご紹介できればと思います。この記事が、データサイエンスの業務に関わるエンジニアやPOの方にとって、何かしら

イントロ RecSysは推薦システムに関する国際学会で、今年で14回目の開催になります。本来ならブラジルで開催予定でしたが、昨今の情勢により今年はオンラインでの開催になりました。2020年9月22日から9月26日にかけて開催されました。 推薦システムは、Amazonのこれもチェックしている人はこれもチェックしていますのように、たくさんあるアイテムの中からおすすめのアイテムを選び出してくれる仕組みで、最近ではあらゆるサービスに組み込まれています。そのため、RecSysでは、大学などの学術機関だけでなく、AmazonやNetflixなどの企業からの参加者が６割を超えています。また、オンライン開催ということもあり、参加者は過去最多で1000人を超えています。 この記事では、推薦システムの国際学会でどんなことが今話題なのか、どんな研究があるのかを簡単にざっくりと紹介できればと思います。(Wante

イントロNetflixは、スマホやPCがあれば、どこでもいつでも、映画やドラマを見放題で楽しむことができます。今年はお家時間が増えたことで、Netflixをより満喫している方も多いのではないでしょうか。実際に、2020年1月〜3月に会員が全世界で1600万人ほど増え、合計1億8000万人を超えています。 Netflixをいくつかの数字で見てみると、さらにその凄さに驚かされます。 ・全世界のインターネット通信量(下り)の15%をNetflixが占めており、YouTubeを超える世界一の動画サービス ・時価総額が20兆円超え ・サブスクリプション収入が月々約1500億円 そんな多くのユーザーを有するNetflixの魅力の１つに、推薦システムがあります。Netflixのホーム画面には、今話題の作品やユーザーにパーソナライズ化されたおすすめの作品が並びます。 Googleの検索と違って、Netfl

イントロ「Amazonのこの商品をチェックした人はこの商品もチェックしています」や「YouTubeのあなたへのおすすめ」、「Twitterのおすすめユーザー」などのレコメンド機能は多くのWebサービスに組み込まれております。そのレコメンドによって、ついつい商品をたくさん買ってしまったり、夜遅くまで動画を見てしまった経験はないでしょうか。 この記事では、レコメンドシステムの裏側はどのような仕組みになっているのか、そもそもレコメンドとはどういうものなのかを具体例を交えながら俯瞰できればと思います。レコメンドシステムのアルゴリズムの詳細には触れず、ビジネスにおいてどのような形で実装されているかにフォーカスしています。ネット上に公開されているレコメンドに関するスライドや記事、論文のリンクをまとめましたので、アルゴリズムの詳細などはリンク先の記事でご確認ください。 対象の読者は、自社のサービスにレコ

1月末で約2年ほど働いたIndeedを退職して、UbieというAI×医療のベンチャーに転職します。せっかくの節目なので、社会人になってからを振り返りたいと思います。 目次 ・リクルートについて ・Indeedへの異動に向けて ・Indeedについて ・Ubieへの転職のきっかけ ・これから リクルートについてもともとは新卒でリクルートにデータサイエンティストとして入社して社会人生活を始めました。リクルートは様々なデータを保有しており、データ分析のしがいがありました。また、上司、同期、後輩は優秀な人ばかりで、常に学ぶことばかりでした。特に、データにどのように向き合って、仮説をたてて分析するのか、また、データの裏側にいる実際のユーザーやクライアントの課題を把握してどうしたら解決ができるのかといったスタンス面の土台がこの頃にできたように思います。技術面においても、GCPやAWSを使って機械学習プ