エムスリーテックブログ

エムスリー(m3)のエンジニア・開発メンバーによる技術ブログです

トップ > BigQuery

BigQuery

BigQueryのLanguage Serverであるbqlsを作っている話

BigQuery LSP

AI・機械学習チームの北川(@kitagry)です。 このブログはエムスリーアドベントカレンダー11日目の記事です。 このブログではタイトル通りOSSで作成しているbqlsというLanguage Serverについて紹介します。 github.com 座ってたら遊んでほしすぎて絡んでくる…

#SQL #BigQuery #LSP (Language Server Protocol)

9時間足すんだっけ引くんだっけ問題～あるいは、諸プログラミング言語はいかにタイムゾーンと向き合っているか

PostgreSQL BigQuery Java python AdventCalendar

私は日付時刻の処理が大好きです。 タイムゾーンの問題でデータ抽出が9時間分漏れていたとか、朝9時の始業前のログが昨日付けになってしまっていたなんていう問題が起こると喜んじゃうタイプ。 そんな私にとって、各プログラミング言語が標準で持っている日…

BigQueryでSendGrid Activityをセキュアに管理する仕組みを構築した

Architechture BigQuery 計測 プロセス改善 python

BigQueryでSendGrid Activityをセキュアに管理する仕組みを構築したのでその紹介をします。

BigQuery上のデータマートをクラスタ化したらクエリコストが９割カットできた話

BigQuery

こんにちは、エンジニアリンググループ、データ基盤チームの木田です。 最近我が家では手作りピザがブームになっており、週末になると度々生地をこねては家庭内ピザパーティーを開催しております。 息子が盛り付けた手作りピザ (本文とは特に関係ありません)…

エムスリー、データ基盤チームはじめました

BigQuery GCP

エンジニアリンググループ、データ基盤チームの鳥山(@to_lz1)です。 私は過去何度かデータ基盤に関連する記事を出していますが、データ基盤チームという肩書を付けるのは今回が初めてとなります。それもそのはず、エムスリーでは2023年4月に新たにデータ基盤…

SQL一つで送る内容を決めるメール基盤を作った話

BigQuery

AI・機械学習チームの北川(@kitagry)です。 GoとVimとKubernetesが好きです。 前回書いたNeovimで手書き文字入力する記事が「発想が狂っている」・「頭がおかしい」などの反響をいただいたので、真面目なことをやっていることをアピールするためにこの記事を…

Google BigQuery Connector for AWS Glue で AWS から BigQuery にデータを書き込んでみた

AWS BigQuery IaC

こんにちは、エムスリーエンジニアリンググループ コンシューマチームの園田です。 Google BigQuery Connector for AWS Glue を使って AWS 上にあるデータを BigQuery に書き込むというのを Terraform でやっていきます。 BigQuery から AWS へのデータ取り…

#AWS #BigQuery #Terraform #ETL #Glue

AI・機械学習チームでのインターンでBigQueryのローカルテスト基盤を作った話

BigQuery Go python 自動テスト

こんにちは、10月後半の2週間、エムスリーのAI・機械学習チームでインターンをしていた後藤です。 今回は私の行ったタスクと、インターン生からみてエムスリーはどのような会社なのかについて書いていこうと思います。 他の学生の方々のインターン選びやBigQ…

BigQueryの連携クエリ導入時にハマった制約と回避策

BigQuery GCP CloudSQL

エムスリーエンジニアリンググループの遠藤 (@en_ken) です。 エムスリーではクラウドプロバイダとしてAWSが主要に利用されていますが、 分析基盤はGoogle CloudのBigQueryを利用しており、各チームが分析に必要なデータを集約しています。 歴史的な経緯もあ…

BigQuery向けクエリの社内ライブラリのCIを整えて料金を抑える

BigQuery Python

AI・機械学習チームで2021年新卒の北川(@kitagry)です。 最近Zigが流行っている感じがしますね。僕もちょっとずつ勉強し始めています。 今日はZigではなく、BigQueryとPythonのお話をします。

LookerによるダッシュボードのアーキテクチャとTerraform providerの実装と運用

BigQuery Digdag Embulk Infrastructure Looker

これは エムスリー Advent Calendar 2021 の9日目の記事です。 前日は id:kitagry による、k8sのカスタムリソースで、CronJobの終了を検知してJobを実行する でした。 エムスリーエンジニアリンググループ AI・機械学習チームの笹川です。 趣味はバスケと筋…

MLのバッチでもSLO監視はじめました。

GKE 監視 BigQuery SLO

こんにちは。エムスリーエンジニアグループAI・機械学習チームで2021年新卒の北川(@kitagry)です。一人でtechblog書くの久しぶりなのでちょっと緊張気味です。 最近はRustでKubernetesのカスタムコントローラーを作るのにハマっています。他にも作っている方…

エムスリーのデータ基盤を支える設計パターン

BigQuery Digdag

こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向け…

Google AnalyticsのBigQuery Exportを使って検索ログデータ分析基盤を構築した

BigQuery Architechture Digdag Embulk GCP Redash 情報検索

今回は検索改善タスクのために検索ログデータ分析基盤を構築したお話をします。また他チームとのコミュニケーションで工夫した点もお話できればと思います。

Redash権限管理のための独自CLIツールを作りました

Redash BigQuery

AI・機械学習チームの丸尾 @snowhorkです。 今回は業務改善（＋趣味）で作ったRedash権限管理ツール rdiam について紹介したいと思います。 github.com

BigQueryのINFORMATION_SCHEMAを利用してクエリコストを集計する

AdventCalendar BigQuery GCP

これはエムスリー Advent Calendar 2020の18日目の記事です。 社ではBigQueryを中心としたデータ基盤を活用しています。BigQueryの利用コスト管理の一環で、BigQueryのベータ版機能であるINFORMATION_SCHEMAを利用したクエリコストの集計を試みましたので、…

#BigQuery #データ基盤

BigQueryのテーブル連携時間を監視する

BigQuery Digdag Embulk Go OSS

これは エムスリー Advent Calendar 2020 の15日目の記事です。 前日は id:Hi_king による、臨床AIはなにができ、何が難しいか: 臨床AI研究開発の3類型 でした。 エムスリーエンジニアリンググループ AI・機械学習チームの笹川です。 趣味はバスケと、筋トレ…

BIRの技術スタックとアーキテクチャ

AdventCalendar Go React.js TypeScript BigQuery

この記事はエムスリー Advent Calendar 2019の12日目の記事です。 エムスリーエンジニアリンググループの滝安（@juntaki）です。BIRというチームでエンジニアやらプロダクトマネージャー的なことをしています。 BIRはビジネスインテリジェンス&リサーチの略…

M3 USA 出張記 #5: M3 USAでデータ基盤環境整備とKPIモニタリングツールの導入を実施しました

Global BigQuery Digdag Embulk Redash

エムスリー エンジニアリングG AI・機械学習チームの笹川です。 10/31から 出張 でM3 USAのNYオフィスに来ています。 NYオフィスはNYのタイムズスクエアのすぐそばにあり、アーティストのライブなどが行われる会場としても有名なマディソンスクエアガーデン…