協調フィルタリング推薦やバスケット分析で使われるアソシエーションルール/分析について調べました。主に著書「推薦システム実践入門」から学習しました。 購買履歴データから同時購入される商品組み合わせのルールを探索します。「おむつとビール」の話が有名ですが、真偽疑わしいようです。 また、真偽はともかく「おむつとビール症候群」という単語もあるようで注意が必要みたいです。 3つの指標 以下の3つの指標を使用します。 指標 内容 計算式 補足

はじめに この記事では、場合毎に選択できる因果推論手法をフローチャートとしてまとめた。フローチャートで言及している手法は、「効果検証入門〜正しい比較のための因果推論/計量経済学の基礎」で紹介されていた因果推論の手法に限られる[1]。また、フローチャートの分岐を判断する上で必要となる最低限の事前知識を解説し、個別の分析手法の概要もまとめている。最後に、それぞれの手法を実装する上で利用できるPythonのライブラリについても言及する。 私自身は、業務でRCT(Rndomized Controlled Trial)以外の因果推論を活用した経験は無いが、その様な場面に遭遇した際に、利用できる手法を選択する助けとなるように、フローチャートを作成した。 準備 因果推論とは 統計的因果推論(Causal Inference)とは、観測した結果に対する特定の要因による影響、即ち因果関係を統計的に推定する手

はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor

近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+, 2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全

2024年6月13日に大阪大学大学院 情報科学研究科で行った「情報科学特別講義Ⅰ」の講義資料です。 https://www.ist.osaka-u.ac.jp/japanese/news/newsDetailNews.php?id=308

前回のブログ記事は、論文紹介という地味なテーマだったにしてはだいぶ話題を呼んだ*1ようで、個人的にはちょっと意外な感があったのでした。確かに、今をときめくTransformerにも苦手なものがあるという指摘は、NN一強の現代にあってはセンセーショナルなものと受け止められても不思議はなかったかと思います。 しかし、それは同時に「データセットが持つ本質的な性質」と「データ分析手法の性質」とのミスマッチと、それが引き起こす問題とについてこれまであまり関心を持ってこなかった人が多いということなのかもしれません。そして、そのミスマッチは冗談でなく古来からある程度定まった類型があり、データ分析業界の古参なら「そんなの常識だよ」というものばかりだったりします。 ところが、最近僕の周囲でもそういうミスマッチが深刻な実問題を招いているケースが散見され、思ったよりもそれは常識ではないのかな？と思わされることが

先日、こちらのポストをお見かけしました。 AI技術開発部の高橋が社内勉強会の資料「時系列予測にTransformerを使うのは有効か？」を公開しました。 論文Are Transformers Effective for Time Series Forecastingの紹介を中心に、時系列予測について解説しています。ぜひご覧ください。https://t.co/LplxTT8b1d pic.twitter.com/nUXb4bGiQ3— GO Inc. AI Tech (@goinc_ai_tech) 2023年9月28日 なるほど、NN全盛というかNN一択の時代にあっては時系列予測もNNでやるのが当たり前になったのだなという感想でした。大昔「沖本本」で古典的な計量時系列分析を一通り学んだ身としては隔世の感がありますが、これもまたNN時代の趨勢なのでしょう。 なお、元論文2点は上記リンクから辿

著者のアルベルト・ロメロ（Alberto Romero）氏はスペイン在住のAI技術批評家で、AINOWでは同氏の記事を多数紹介して来ました。同氏がMediumに投稿した記事『明らかになったGPT-4の秘密』では、OpenAIがGPT-4のアーキテクチャおよび詳細を非公開にしたビジネス上のメリットが解説されています。 「競争と安全上の理由から」学習データやアーキテクチャが非公開だったGPT-4について、2023年6月になってリークがありました。そのリーク内容とは、同モデルは2,200億パラメータの専門家モデルが8つ連結された「専門家混合モデル」だったというものです。このアーキテクチャ自体は、Googleが2021年に発表している何ら革新性のないものです。 実際には既存技術を活用して開発していたGPT-4の詳細を非公開としたOpenAIのビジネス戦略について、ロメロ氏は以下のような3つのメリッ

はじめに ChatGPTが公開されて半年以上が経過し、そのユーザは急激に増えて世界的に普及しましたが、その一方でユーザの一部からは「ChatGPTは性能劣化したのではないか」という疑問が出てきました。同AIの性能に関しては、生成された回答と人間が作成したそれとの違い、さらには政治的トピックに対する回答の党派性などといった疑問も生じます。 最近、以上のような疑問について調査した論文が発表されました。それらは、以下のような3つの問題を論じています。 疑問1：ChatGPTの性能は、経年変化しているのか。 疑問2：（Stack OverFlowに掲載された質問に対する回答のような）特定のトピックに関するChatGPTの回答はどのような特徴を持っており、人間が作成したそれとどのような違いがあるのか。 疑問3：ChatGPTを含めた言語モデルは、政治経済的トピックに関して何らかの党派性をもった回答を

株式会社ブレインパッドの2023年新卒研修資料です。基礎統計学について扱っています。