オンライン勉強会「datatech-jp Casual Talks #6」の登壇資料です。 https://datatech-jp.connpass.com/event/337374/ ■ 採用・カジュアル面談 https://kazaneya.com/recruit ■ サービス提供 …

はじめに ドワンゴ教育事業でデータアナリストとして働いている小林です。 ドワンゴ教育事業におけるデータアナリストは企画開発組織の一員としてKPI可視化やレポーティングなどをメイン業務としています。個人的には新たなサービスが生まれる瞬間のお仕事が一番好きで、「何の指標をみていくのか」「どんなデータが流れてくるのか」など少し上流の工程からデータの取り扱いを検討するとともに、既存のダッシュボードをバージョンアップする良い機会にしたり、新たなステークホルダーに対して良いデータ分析の提供を考えたりと、楽しい日々が続きます。 私たちドワンゴ教育事業では大学開学やR高の開校など大きなサービスリリースが予定されていますので、サービス環境の変化を楽しみながらやりがいをポジティブなパワーに変えていきたいと思っています！ 課題について（導入に代えて） 昨今、分析対象としてJSON文字列を取り扱うことが増えてきま

本記事は、ドコモアドベントカレンダー2024 19日目の記事です🎄 こんにちは！NTTドコモ クロステック開発部の畑元です。業務ではヘルスケア領域におけるデータ分析やAI開発を行っています。 この記事ではベイズ推論による機械学習とRStanを用いた分析例をご紹介します。データサイエンス分野の方には馴染みのある話かもしれませんが、私はよく忘れてしまうので頭の整理も兼ねて書いていこうと思います。 ※数式が崩れる方は、数式の上で右クリックして、Math Settings > Math Renderer > Common HTMLへ設定をご変更ください 1. はじめに 2. ベイズ推論について ベイズの定理 ベイズ推論 ベイズ的機械学習 3. 実際に動かしてみる 準備 探索的データ分析 ベイズ線形回帰 階層モデル 4. おわりに 参考書籍 1. はじめに 近年、AIに関する研究は急速に進歩し、あ

dbt アドベントカレンダー 2024 11日目の記事です。 前置き 普段はdbt Cloudを使っていて、Google Cloud に BigQueryとLookerStudio な技術スタックで社内のデータ基盤を構築・運用しています。 データ基盤で扱うSourceの拡充をするため、ETL/ELT ツールをいくつも試してたどり着いたのが、dltというツールです。 世間では非エンジニアでも画面上でポチポチ設定をしていくだけで、簡単にELT パイプラインが構築できるサービスを使われている話をよく聞きます。エンジニアのいない組織でも、すぐに各種データを収集して分析を始められる点では重宝されるのでしょう。しかしながら、チームメンバーがエンジニア主体の我々にとって、コスト感覚がマッチしなかった、というのが正直なところです。(私だけ？) 各種SaaSのAPIやDB接続をイチから用意してELTパイプラ

CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again

Introduction of Mercari BI team and Case Studies of Analytics for Service in US

【dbt Best Practice】How we structure our dbt projects 2024年12月版 ハッピバースデートゥミ〜〜〜♪ハッピバースデートゥミ〜〜〜♪、ハッピバースデーディアわたし〜♪ ハッピバースデートゥミ〜〜〜♪ がく＠ちゅらデータ（50）です。 ついに天命を知ることになりました。天命ナニソレオイシイノ？ 昨年は、【dbt Best Practice】改めて、dbt Style Guide を読んでみる という記事を投稿しました。 今年は、また別のBest Practiceについて読んでみようと思いました。 この記事は、dbtアドベントカレンダー2024の12日目の記事です。 How we structure our dbt projects（dbtプロジェクトの構造） dbtプロジェクトの構造がなぜ重要なのか 人間が協働するためには、「一貫性があり

この記事は ノバセル Advent Calendar 20日目です。 はじめに こんにちは。ノバセルでデータエンジニアをしている小川です。 DagsterのSensorを使ってTimeout時の自動リトライ機能を作成したためサンプルコードでその実装方法と利点を解説しようと思います。 背景 ノバセルでは、顧客が求めるデータ（リクエスト）に応じて、dbtで定義したデータモデルをDagster上でマテリアライズ（データ生成・変換・格納）しています。このフロー全体をDagsterで管理することで、スケジュール実行や状態管理、リトライ制御などを一元的に行っています。 大まかな処理は以下の流れです。 flowchart LR A([dbtでリクエストデータを表すモデルを作成]) --> B[リクエストデータ] C[外部データ] --> D([Dagster Jobで処理]) B --> D D -->

Evidence is a lightweight framework for building data apps. It's open source and free to get started.

2024年12月8日に開催されたISUCON14に「ウー馬場ーイーツ・ザ・ファイナル」として参加しました。最終スコアは29,386でした。実装言語はGoです。 こんなPostをしてましたがRustは採用しませんでした（今回は余裕がなかった）。 講談社サイエンティフィク様からのご厚意で書籍「RustによるWebアプリケーション開発」をご恵贈いただきました。早速読み進めてます。今年のISUCONはRustで決まりかー！？ #PR https://t.co/sOAcWEqE8P pic.twitter.com/cK7V6lPMQk— matsuu (@matsuu) 2024年10月8日 今年のチャレンジについて 我らがチームはISUCON開催のたびに新たなチャレンジ*1をしてるのですが、今回は以下の4つにチャレンジしました。 ログ解析の見直し 生成AIの導入 rustlsの導入 bpftune

こんにちは、 Ubie でソフトウェアエンジニアをしている syu_cream です。 最近は社内のデータ分析基盤のリードなどをやっております。 本記事では、まさにそのデータ分析基盤について概要と技術的構成、今後について、最近の事情を踏まえながら紹介します。社内データ基盤に関わる開発・運用に関わるソフトウェアエンジニアの方や、分析ユースケースで利用するデータアナリストなど、社内のデータ分析環境に関わる人々にとって何か参考になる記事となれば幸いです。 Ubie のデータ分析基盤とは Ubie はデータの会社です。それは勝手に僕がそう名乗っている訳ではなく、社内でもそうした認識があり、事業を支えるコアにデータの蓄積と利活用があります。データ利活用のシーンとしては、データに基づく事業やプロダクトの方向性付けもありますし、もっと Ubie 特有事情で言うと「患者のジャーニーをデータで捉え、製薬企業

[登壇レポート]Data Engineering Study # 27で2024年のModern Data Stackのアップデート情報を振り返ってきました #DataEngineeringStudy #01pN さがらです。 2024年12月10日に、primeNumber社主催のイベント「01（zeroONE） 2024」が開催されました。 このイベントの中でData Engineering Study #27も初のオフライン開催の形式で行われ、その中で私は「クラメソさがら氏が語る！2024年のModern Data Stackを振り返ろう～分野別の目玉アップデート情報まとめ～」というセッションタイトルで登壇をしてきました。 本記事ではこの登壇資料と登壇を終えての所感についてまとめます。 登壇資料 登壇を終えて まず、大変多くの方に現地で聞いて頂けてとても嬉しかったです！現地で聴講頂い

こんにちは。NTTコミュニケーションズでエバンジェリストをやっている西塚です。今日が10年目の結婚記念日です。 この記事は、NTT Communications Advent Calendar 2024 6日目の記事です。 情報通信白書によると、デジタルデータの活用が企業経営に対して効果があると複数の先行研究で明らかにされています。 ビッグデータを活用している企業はそうでない企業に比べて、イノベーションの創出が統計学的に有意な差で多いと言われています。 私自身もNTTコミュニケーションズにおいて全社データ基盤を立ち上げて、社内システムからデータを収集し、 データサイエンティストと協力しながら、蓄積された膨大なデータを活用してビジネス価値を生み出す取り組みを行ってきました。 さて、近年の生成AIブームに乗り、データサイエンティスト達は従来の機械学習・AI技術に加えて生成AIをデータ活用に利用

こんにちは。Data Engineeringチームの河野(@matako1124) です！ 今年のData Engineering業務としてデータマネジメントからデータ活用促進の仕組み化まで幅広く活動してきましたが、その中でも特に事業にインパクトの大きい変革のお話をしていこうと思います。 結論から言うと、Supersetの新規導入とRedashからの乗り換えを試みています。 注意 執筆に当たり細心の注意を払っておりますが、不十分な説明や誤りがある可能性もございます。 記事内で紹介しているコードは部分的なものです。参考程度にご参照ください。 目次 2024年時点でのLuupのデータ基盤のご紹介 現状の課題 Superset導入の目的と理由 構築事例 Superset推し機能 Superset改善したい機能 まとめ、今後の施策 終わりに 2024年時点でのLuupのデータ基盤のご紹介 本編に入

DataOps Night #5 の登壇資料です。 https://finatext.connpass.com/event/333016/

はじめに こんにちは！　東京工業大学（東京科学大学理工学系）理学院物理学系 修士1年の松本侑真です。2024年8月26日から6週間、私はアナリティクスエンジニアリング1（AE1）チームのインターンシップに参加しました。本記事では、ETLパイプライン再設計の取り組みを紹介します。 背景 AE1チームのミッション AE1チームのミッションの一つは、「データモデリングを活用したETLパイプラインの再設計による分析コスト削減への貢献」です。今回のインターンシップでは、その取り組みの一環としてLINE公式アカウント事業に関係するETLパイプラインの再設計を行いました。ETLはデータ分析の基盤であり、データの抽出・変換・格納までの重要な各工程を指します。ETLパイプラインを適切に設計することにより、データ活用において次のようなメリットが得られます。 可用性・耐障害性の高いデータ分析基盤を提供できるメン

dbt-bigquery-monitoring helps you to monitor your BigQuery compute and storage assetsIntroductionI’ve been using BigQuery for eight years, and it’s been an incredible platform for working with data at scale using SQL. Running queries and creating tables for analytics and data products is remarkably easy. The advent of dbt has further simplified creating complex workflows for many data practitioner

まとめ 圧縮された複数の JSON Lines を読み込める S3 から直接読み込める 好きなタイミングで Parquet で出力 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck 圧縮済みのログを読み込む 解析対象のログファイルって spam-20240501.jsonl.gz や egg-20240601.jsonl.zst みたいに圧縮されていたりします。 特に日付単位で分かれてたりすることは多いです。そこから目的のログを探し出すのは、基本はスクリプトを書くことが多いと思います。 DuckDB を使えば色々解決します。

さがらです。 dbt ver1.9の新機能であるmicrobatch incremental modelsを試してみたので、本記事でその内容をまとめてみます。 microbatch incremental modelsとは まず、incremental modelsについてですが、dbtで前回更新時からの差分更新を行うことができるmodelとなっています。 その上で、このincremental modelsではappend、merge、delete+insert、insert_overwriteという4つの増分更新方法がこれまで提供されていました。 この増分更新方法の新しいオプションとして追加されたのが、microbatchとなります。 microbatchでの更新時の挙動ですが、指定したカラムの値を元に日別に分けて、複数の更新処理が走るイメージとなります。（下図は上記のリンク先ドキュメン