Sean ZinsmeisterDirector, Outbound Product Management In today's data-rich environment, organizations possess vast amounts of information. Yet, bridging the gap between that data and the users who need to make daily, informed decisions remains a challenge. Users need a single place to curate and analyze their data from the many different sources that impact their business each day. We are sharing

はじめに 「自然言語でデータを分析できる」──デモでは魅力的に見えても、 本番導入に足る品質をどう担保するか、そもそも担保しきれるのか と疑問に感じたことはないでしょうか。 この記事では、 自然言語でデータを分析するAIエージェントが実務で安定しにくい理由 を考察しつつ、近年話題の セマンティックレイヤーとの組み合わせにより、そうした課題を緩和しうる可能性 について紹介します。 題材にはBigQueryの公開データセット bigquery-public-data.thelook_ecommerce を使います。手元で再現できるよう実テーブルをそのまま使っています。 なぜ分析エージェント単体では実務で安定しないのか AIエージェントに自然言語で質問してデータを分析する、いわゆる分析エージェントはデモ映えする一方、実務投入においてはいくつかの課題があるように思います。 問題1：ビジネス定義がB

「データ分析」のこと＝エンジニアに頼むというのが根本的な間違いデータリテラシーの欠如は、さまざまな形で表面化する。分析の依頼の仕方がわからない、出てきた数字をどう使えばいいかわからない、そもそも何を知りたいのか言語化できない。こうした問題はどれも根が深いが、本稿ではその中の一つ、「頼む相手を間違えている」という問題に焦点を当てる。 あまり注目されていないが、実はデータ活用の失敗を構造的に生み出す原因の一つである。 「データに詳しい人」に頼んでいないかビジネスサイドの人がデータに関する相談をしたいとき、まず誰に声をかけるか。多くの場合、「データに詳しい人」という曖昧な基準で相手を選ぶ。そして、その結果としてエンジニアに分析の相談をしてしまう、というケースが多い。 エンジニアは確かにデータに詳しい。データベースの構造を知っているし、SQLも書ける。扱いに長けていて日常的にデータに触れているから

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 移動平均線の「遅延」はどこまで改善できるか — Rolling SSA（特異スペクトル分析）による検証 結論から言うと、Rolling SSA は論文の数表を実データでそのまま再現しなかった。 ただし、USDJPY 4時間足では SMA(40) より転換点の遅れを大きく減らし、MSD を 56.8%改善した。 万能なゼロラグフィルターではないが、「遅すぎる移動平均」を改善する実務的な候補ではある。 はじめに：なぜ移動平均線は「遅れる」のか テクニカル分析において、SMA（単純移動平均線）はもっとも基本的なトレンドフィルターとして広く使わ

データサイエンスという分野は、データ収集や可視化などが身近になったことで、より重要になってきています。システムを使ってデータ分析する際、利用者は最終的な結果のみを求めますが、私たちエンジニアはその途中経過についても正しく評価する必要があります。そのためには、中学や高校で学んだ数学の知識が欠かせません。そこで本連載は、高校までに学ぶ基本的な数学知識を使って、データ分析やデータ表現の基礎的な考え方を紹介します。また、既に学んだ数学的基礎からデータの特徴を見つけるためにデータ表現する方法について紹介したいと思います。 はじめに 前回までは三角関数について説明してきました。特に、その周期特性が描く「美しく完璧な数式上の挙動」をいかに扱うかに触れました。 しかし、数学の教科書から一歩外へ出て現実のデータに目を向けると、そこはノイズが溢れる世界です。単純な傾向を把握することさえ困難である事実に気づかさ

スタートアップ企業でデータ分析・データ活用を担当して数年が経ちました。 毎日SQLを叩き、ダッシュボードを作り、生成AIにデータを食わせては「これ本当に意味あるんか？」と自問自答する日々です。 以前に書いた記事「データ分析とデータ活用の違い」でも触れましたが、最近の自分のツイートや仕事を通じてもう一度整理すると、データ分析は手段であって、データ活用こそが目的だということが、ますます鮮明になってきます。 1. 「データ分析」だけでは足りない。現場が欲しているのは「活用できる形」 よくある誤解として、「データを見ればいろいろ分かるはず」というものがあります。 実際には、世の中には間違ったデータ分析が溢れていて、むしろ意思決定を混乱させるケースも少なくありません。 私がスタートアップで感じるのは、ビジネスサイドの人たちが本当に欲しいのは「この課題をどう解決すればいいか、データで裏付けられた次のア

はじめにUbie株式会社でプロダクトマネージャー（PdM）を務めている、田口（@guchey）です。 この記事では、Claude Codeのプラグインを活用して、プロダクトの指標変動を自動診断する「分析エージェント」を構築した知見を共有します。具体的には、「プロジェクトAのCVR（コンバージョン率）が下がっているんだけど、なぜ？」と一言投げかけるだけで、原因特定からレポート出力までを完遂するシステムを作りました。 実はこの分析エージェント、最初は「Text-to-SQL」の仕組みから着手したのですが、運用するなかで大きな壁にぶつかりました。本当に必要だったのは、自然言語からSQLを書く能力そのものではなく、「なぜ」を問うための膨大な文脈（コンテキスト）をAIに与える仕組みだったのです。 OpenAIが社内データエージェントの構築記（Inside OpenAI's in-house data

1. はじめに こんにちは！NTTデータ ソリューション事業本部の@hua_wei_hanagiです。 近年、生成AIを活用したデータ分析の自動化ニーズが高まっています。 このニーズに応えるべく、ユーザーの追加指示を待たずに自ら考え、納得いくまで分析を繰り返してくれる「自律的に深掘りするデータ分析エージェント（以降、Deep Analysis型と呼ぶ）」の構想を設計しました。 しかし、これを実運用に乗せようとした際、「タスクの量が増えることに伴い、最終結果が出るまでの待ち時間が長大化してしまう」 というシステム上の大きな壁にぶつかりました。 そこで本記事では、 「Deep Analysis型の構想」と「待ち時間問題を解決するための工夫」の2つのテーマについて 解説します。 本記事で扱う範囲 前半：Deep Analysis型の概念と設計思想（構想レベル） ユーザーの追加指示を待たず、AIが

八戸市の大学生たちが中心市街地の活性化に役立てようと取り組んできた研究成果を市長に報告しました。 八戸市役所を訪れた八戸工業大学の学生たちはデータ分析をもとに考案したアイデアを熊谷市長にプレゼンしました。 内容は一人でも気軽に楽しめる電話ボックス型のカラオケボックスの配置やオフィス環境の整備、八工大のキャンパス移転など。 若者ならではの視点から考えられたアイデアを聞いた熊谷市長は今後のまちづくりの参考にしたいとしました。 【八戸工業大学3年　木村明日香さん】 「オフィス街とキャンパスが隣り合うことで地域と都市の活性化社会と地域のつながりの強化教育と社会企業の連携促進すると考えました」 この取り組みは、2016年から八戸市と八戸工業大学などが連携して行っています。

最近、研究の進め方が劇的に変わりました。 きっかけは AIとPythonを本格的に導入したこと。 昔ながらの 「テーマ決め → データ収集 → 分析」 という研究フローは、もう完全に過去のものになりました。 今は、 データ基盤を先に作り、AIで仮説を量産し、Pythonで高速に検証する。 この3ステップで研究が“回る”ようになっています。 そして驚くべきことに、 仮説の検証が30秒で終わる ことも珍しくありません。 この記事では、 AI時代の研究スタイルがどう変わったのか なぜ研究がゲームのように進むのか を、 実例とコード断片を交えて紹介します。 1. データ基盤を先に作る時代へ 昔は テーマ決め → データ収集 → 分析 という順番が一般的でした。 でも今は逆で、 先にデータ基盤を作る ほうが圧倒的に効率が良い。 具体的には： APIでデータ取得 Pythonで自動収集 pandasで

筆者紹介： IT系ライターの傍ら、これまで非常勤講師として東大で情報・プログラミング関連の授業を、一橋大でAI関連の授業を担当。かなり前から髪をブリーチしていて金髪先生を自称していたのだけれど、放置しているといい感じのグレーヘアーになってきたので、もはや寄る年波かと思う昨今。最近、成長したなと感じていることは、生まれてこの方どうしても食べられなかった納豆が食べられるようになったこと。唐揚げにはレモンをかけない派。 データ分析の初歩から応用まで少しずつステップアップしながら学んでいく連載の推測統計（仮説検定編）、第14回（最終回）です。検定の基本的な考え方から出発し、これまで、平均や分散、相関係数の検定などのパラメトリック検定を学び、さらには、中央値や分布の広がりの検定、前回見た順位相関の検定といったノンパラメトリック検定についても見てきました。 いずれも、比較の対象となっていたのは2つの群

動的配列関数と魔法の記号「#」スピル演算子を使いこなせ Excel作業で「データ量の増減に合わせて数式をコピペし直す」無駄な作業をしていないだろうか？　Excel 2021以降で導入された「スピル演算子（#）」を使えば、1つの数式で全データが自動集計できる。テーブル機能（構造化参照）と組み合わせた、メンテ不要で自動更新される最強の集計システム構築術を解説しよう。 これまでの「Microsoft Excel」では、1つのセルに1つの計算結果を表示するのが基本であった。そのため、複数の結果を得るには数式を必要な分だけコピー＆ペーストしなければならず、データ量の増減に合わせて範囲を手動で修正する作業が不可避となっていた。 しかし、Excel 2021以降ならびにExcel 365で「動的配列」と呼ばれる機能がサポートされた。「UNIQUE関数」や「SORT」関数などの動的配列関数と、「スピル演算

筆者紹介： IT系ライターの傍ら、これまで非常勤講師として東大で情報・プログラミング関連の授業を、一橋大でAI関連の授業を担当。かなり前から髪をブリーチしていて金髪先生を自称していたのだけれど、放置しているといい感じのグレーヘアーになってきたので、もはや寄る年波かと思う昨今。最近、成長したなと感じていることは、生まれてこの方どうしても食べられなかった納豆が食べられるようになったこと。唐揚げにはレモンをかけない派。 データ分析の初歩から応用まで少しずつステップアップしながら学んでいく連載の推測統計（仮説検定編）、第13回です。前回は母集団に特定の母数を仮定しない（できない）場合のノンパラメトリック検定の例として、分布のばらつきが異なるかどうかを調べるためにアンサリ・ブラッドレイ（Ansari-Bradley）検定などを取り上げました。今回は、順位相関の検定について解説します。順位相関と呼ばれ

はじめにメディア研究開発センターの石井です。 データジャーナリズムのためのデータ分析、文章校正AI Typolessの開発などを担当しています。 2026年で、東日本大震災が起きてから15年の月日が経つことになります。 震災から15年、人々が暮らすまちはどう変わったのでしょうか。 今回は、衛星データから見えてきた被災したまちの変化を、分析の手法とともにご紹介します。 15年間の変化を衛星データから読み取り、震災後にできた「新しいまち」の輪郭を可視化しました。 ※この記事では、衛星データから読み取れた、植生が減少し人工構造物が増えたと推定される地域を、便宜上「新しいまち」と呼びます。 衛星から見えたまちの変化まずは結果から、衛星データから見えてきたまちの変化を紹介します。 震災前の2010年、そして2025年、15年差の衛星データの分析から、市街地になったと思われる箇所を緑の線で囲んでいます

データ部の okoshi です。 フリーのデータ組織には「アナリティクスエンジニア（Analytics Engineer）」というロールがあります。データ活用が進むにつれ、このロールの必要性は年々高まっています。この記事では、役割、価値、業務内容、必要スキルをコンパクトに紹介し、なぜこの職種がビジネスインパクトに直結するのかを解説します。 1. 概要 アナリティクスエンジニア（Analytics Engineer）は、 「データエンジニア」と「データアナリスト」の中間に立ち、ビジネスで安全・高速に使える“整ったデータ”を継続的に届ける役割です。 データエンジニアが整備した基盤・生データを受け取り ビジネスサイドやアナリストがすぐ使える形にモデリング・変換し 品質と再利用性を担保した「信頼できるデータ資産」として提供する ことで、フリー全体のデータドリブンな意思決定・プロダクト改善を支えます