本記事では、データ活用の現場で大きな壁となっているデータクリーニングという作業を効率化する自動化手法を紹介します。 【告知】AIDB HRの人材側登録者全員に対し、業界研究の手間を削減できるように「AI事業を行う企業リスト」を配布します。無料登録後すぐに閲覧とダウンロードが可能です。▼ 背景 私たちの身の回りには、様々な形でデータが記録・蓄積されています。その中で、例えば飲食店の衛生検査データを管理する係だったとします。同じスターバックスコーヒーの店舗でも、「STARBUCKS COFFEE #279」「Starbucks Coffee #2901」のように表記が揺れていたり、検査結果が「pass」「PASS」「Pass」と異なる形式で記録されていたりすることがあります。エクセルで管理している顧客データでも、「株式会社」「（株）」「KK」など、企業名の表記が担当者によってバラバラ、という経

16種類以上のNLP(自然言語処理)タスクを用いて日本語の大規模言語モデル(LLM)の性能評価と分析を行う「オープン日本語LLMリーダーボード」が公開されました。構築には国立情報学研究所をはじめとする日本語LLMの研究開発を行う組織横断プロジェクト「LLM-jp」が携わっています。 Open Japanese LLM Leaderboard - a Hugging Face Space by llm-jp https://huggingface.co/spaces/llm-jp/open-japanese-llm-leaderboard Introducing the Open Leaderboard for Japanese LLMs! https://huggingface.co/blog/leaderboard-japanese Open Japanese LLM Leaderboa

上記メンバーとほとんど同じメンバーが発表した今回紹介する研究は、1000人以上の実在する人の思考パターンと行動を分析してコピーした自律AIを1000体以上創り上げた内容になります。以前の研究では架空の性格を創り上げていましたが、今回は実在する人の考えを複製（クローン）した自律AIになります。 そのため、参照した各個人に対して2時間のインタビューを実施し、そのデータを基に一人一人の行動や思考をシミュレートできるように創り込みました。 (▲1000人以上の参加者に対して2時間のインタビューを実施し、性格を抽出し、これらの個人の態度や行動を再現する自律AIを作成した) 研究チームはまず、アメリカ社会の縮図となるように、年齢、性別、人種、居住地域、教育レベル、政治的立場などを考慮して1052人の参加者を慎重に選びました。各参加者は、AIによるインタビュアー（GPT-4o）と2時間の音声対話を行い、

LLM-powered multiagent persona simulation for imagination enhancement and business insights. TinyTroupe is an experimental Python library that allows the simulation of people with specific personalities, interests, and goals. These artificial agents - TinyPersons - can listen to us and one another, reply back, and go about their lives in simulated TinyWorld environments. This is achieved by levera

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 Google DeepMindは、タンパク質構造予測モデル「AlphaFold3」の基盤となるコードをオープンソース化しました。AlphaFold3の開発者は、2024年のノーベル化学賞を受賞したことで知られています。 Googleは、「Gemini-Exp-1114」をリリースしました。性能が高く、業界標準のリーダーボード（Chatbot Arena）で総合ランキング1位を獲得しました。 OpanAIは、ChatGPTがデスクトップPCでも気軽に使えるように、macOS版に加えてWindows版のアプリケーションをリリースしました。 さて、この1週間の気になる生成AI技術・研究をいくつかピックアップして解説する「生成AIウィークリー」（第72回）

50代の管理職研修講師。DV加害者更生NPOでボランティア。臨床心理士を目指して2021年11月に心理系大学院の受験を始め、2022年12月になんとか合格。受験勉強中は院試関係の情報がなくて困ったので、社会人で心理系大学院を目指す後進のために、私の経験や情報をたくさん残します。

RubyといえばRails、RailsといえばActiveRecordというくらいに、事実上ActiveRecordはRuby界隈におけるORマッパのデファクトスタンダードだ。しかしながら、Piotr Solnicaというソフトウェア・エンジニアは、ActiveRecordパターンが常にスケーラブルなアプリケーションにとっての最適解ではないという思想から、ROM.rbというRubyアプリケーションにおけるレイヤ分割を強力にサポートするためのORマッパー*1を開発している。 ROM.rbの何がよいのか？ 長期間にわたってRailsアプリケーションの中でActiveRecordを使ってきた経験があれば、ActiveRecordにおいてモデルの中にロジックがてんこもりになり、コードベースが肥大化してきてしまうのに悩んだ経験があるのではないかと思う。ActiveRecordには、データベースの構造

マイページに保存最終更新日：2024/11/04 本記事は、研究者が自ら著書の論文を解説する特別企画です。AIDBの通常記事とは異なり、本企画の記事は会員以外のすべてのユーザーも全文閲覧できます。皆様ぜひお楽しみください。また、本企画への応募は以前からXで募集しており、これが4記事目の公開となります。本企画は継続開催中です。研究者の方はこちらからご応募ください。 今回は、NECの石橋 陽一氏ら研究グループによる”Can Large Language Models Invent Algorithms to Improve Themselves?“の解説です。 以下、論文著者による寄稿です。 自己紹介 名前とプロフィールページ 石橋 陽一 (Yoichi Ishibashi) X：@__tuxi__ 個人サイト: https://yoichi1484.github.io/ 所属 NEC Cor

Author Mario Rodriguez OpenAI o1-previewとGitHub Copilotの統合をテストしました。 本日、OpenAIは難しい問題を解決するための高度な推論機能を備えた新しいAIモデルシリーズ、OpenAI o1をリリースしました。皆さんと同じように、私たちも新しいo1モデルを使いこなすことを楽しみにしており、o1-previewとGitHub Copilotのインテグレーションをテストしました。大規模システムのデバッグ、レガシーコードのリファクタリング、テストスイートの作成など、この新しいモデルを使って多くのユースケースを模索していますが、最初のテストでは、コード解析と最適化において有望な結果が得られました。これは、o1-previewが返答する前に課題を考え抜く能力を備えているためで、GitHub Copilotで複雑なタスクを構造化されたステップに

2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(

Googleの検索ランキングアルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書についてコメントを拒否していたGoogleですが、ついにこれが本物であることを認めました。 Google confirms the leaked Search documents are real - The Verge https://www.theverge.com/2024/5/29/24167407/google-search-algorithm-documents-leak-confirmation 世界最大級の検索エンジンであるGoogle検索を運用するGoogleの、検索アルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書により

AmazonのクラウドコンピューティングサービスであるAWSが提供するストレージサービス・Amazon S3では、写真や動画などのデータをアップロードするためにバケットを作成する必要があります。このS3バケットを空の状態にしていると、AWSの請求額が爆発的に増加してしまうという問題を、ソフトウェアエンジニアのMaciej Pocwierz氏が報告しました。 How an empty S3 bucket can make your AWS bill explode | by Maciej Pocwierz | Apr, 2024 | Medium https://medium.com/@maciej.pocwierz/how-an-empty-s3-bucket-can-make-your-aws-bill-explode-934a383cb8b1 Pocwierz氏はクライアント向けに作成

背景 LLMは、膨大な量の公開データで学習することにより、幅広い一般知識推論タスクで著しい進歩を遂げてきました。一方で、LLMが特定の分野のタスクに用いられる場合、一般的な知識推論よりも、与えられた文書に対して正確であることが強く求められています。例えば最新のニュースや企業の非公開文書などに適応させることは課題になっています。 LLMを特定分野に適応させる際、検索拡張生成（RAG）を用いたコンテキスト学習と、教師あり微調整（supervised fine-tuning）の2つの手法が主に考えられます。 RAGベースの手法は、LLMが質問に答える際に文書を参照するものです。この手法では、モデルが事前に学習しているわけではありません。外部のナレッジベースから関連情報を取得することで問題解決能力を向上する（比較的リーズナブルな）アプローチです。 教師あり微調整は、文書からより一般的なパターンを学

簡単に利用できる人工知能（AI）チャットボットはたくさんあるが、最大限に活用するにはAIプロンプトの技術をマスターする必要がある。だが、AIチャットボットにどう話しかければ望む結果が得られるのか、正しく理解するのは難しいかもしれない。そこで、Googleが支援に乗り出した。 Googleは米国時間4月19日、「Gemini for Google Workspace」を最大限に活用するためのヒントやコツ、提案を紹介する新しいブログシリーズを公開した。このブログは、仕事をしている人がWorkspaceでGoogleのAIアシスタントを使いこなせるようにするためのものだが、提供されているアドバイスは、ほとんどすべてのAIチャットボットに適用できる。 最初のブログ記事は、プロンプトとは何か、生成AIモデルを利用する上でのプロンプトの重要性、そしてプロンプトの作成に役立つ公式について説明している。

Jack Wallen （Special to ZDNET.com） 翻訳校正： 編集部 2024-04-18 07:45 筆者の1日のほとんどは音楽で満たされている。文章を書くときも、ジョギングをするときも、単純な作業をするときも、音楽がそばにある。オフィスにいるときは、ターンテーブルで音楽を再生する。オフィスにいないときは、いくつかの選択肢がある（スマートフォン、Googleのスマートスピーカー、ストリーミングサーバーなど）。 今回の記事で取り上げたいのは、ストリーミングサーバーである。筆者がホームネットワーク上にストリーミングサーバーをセットアップした最大の理由は、極めて大規模なデジタル音楽コレクションを所有しており、そこには、絶版になった録音や普通のストリーミングサービスではアクセスできない録音が多数含まれていることだ。したがって、Lord Groovy And The Psych

Constrained K-means Clustering (クラスタサイズの制限をしたK-means法) を調べてみた

著作権の消滅などによりパブリックドメインとなった楽譜や音楽などを無料で公開する国際楽譜ライブラリープロジェクト(IMSLP)のウェブサイトでは、主にクラシック音楽の楽譜や音源データが42万5000点以上収録されています。どのような音源や楽譜データがあるのか、実際に使って確かめてみました。 IMSLP: Free Sheet Music PDF Download https://imslp.org/wiki/Main_Page IMSLPのトップページはこんな感じ。日本語にも対応しており、言語を日本語に変更するには下へスクロール。 「日本語」をクリックすると、メニューバーなどの一部を除いて言語が日本語に変換されます。 楽譜をダウンロードするにはメニューバーから「Scores」をクリック。 作曲者名や国別、時代などから楽譜を探すことができます。例えば「作曲者から」をクリックすると…… アルファ

シネフィルWOWOW プラスでは世界の名画を配信中→https://x.gd/OH0FD チャンネル登録はこちら！→https://www.youtube.com/channel/@cinefilwowowplus　 パリが廃墟と化した近未来、少年期の記憶に取り憑かれた男がタイムトラベルをする。ほぼ全編、静止画で構成したSF映画の傑作。大塚明夫による日本語ナレーション版。 ■概要 第3次世界大戦後の廃墟と化したパリ。戦争を生き延びたものの放射能により地下で生活する羽目に陥った科学者たちは、“過去”と“未来”に救済を求める。彼らは少年時代の記憶に取り憑かれた捕虜を選び出し、彼を使ってタイムトラベルを試みる。彼の心には少年時代に空港の送迎台で見た女のイメージが焼き付いていた。実験台での注射で過去に送り込まれた男は、女と再会する。大塚明夫による日本語ナレーション版。 ■監督 クリス・マ