BigQueryでJSONをテーブルに自動変換できるようにしてみた

こちらはエムスリー Advent Calendar 2024の20日目の記事です。

デジスマチームの田口です。 デジスマ診療（以降デジスマ）はQRコードによるチェックインや自動後払い、オンライン診療など新しい医療体験を提供するサービスです。

www.youtube.com

ありがたいことにサービスは成長し続けており、これに伴ってKPIの深掘りや施策の効果検証のためのデータ分析もより積極的に行われるようになってきました。

デジスマチームではデータ分析基盤にBigQueryを利用しており、Amazon Auroraや各種ログデータをBigQueryに連携し、様々な分析をしています。 多種多様なデータを連携している都合上、データの中にはJSON形式のカラムのものもあり、この内容を検索や集計したいケースも出てきます。 分析する中でJSON形式のデータをテーブルに変換したくなったため、JSONのカラムをテーブルに変換する方法を考えてみました。

インターンではじめてのプロダクト開発を経験した話【ソフトウェアエンジニアインターン参戦記】

はじめに

11月末から2週間、エンジニアリンググループ AI・機械学習チームでの新卒ソフトウェアエンジニアインターンに参加した山口 (@chimaki_yama821)です。この記事では私が取り組んだことと2週間の感想について書いたので、エムスリーが気になっているという他の学生の参考になれば幸いです。

最終日に撮ってもらった写真

ã€ŒçŸ¥ã£ã¦ã‚‹ã¤ã‚‚ã‚Šã€ã‹ã‚‰ã®è„±å´ï¼šå£²ä¸Šæ§‹é€ ã®è§£åƒåº¦ã‚’ä¸Šã’ã‚‹ãƒ—ãƒ­ãƒ€ã‚¯ãƒˆãƒžãƒã‚¸ãƒ¡ãƒ³ãƒˆ

この記事はエムスリーAdvent Calendar 2024の19日目の記事です。

こんにちは。エンジニアリンググループ プロダクト支援チームでプロダクトマネージャーをしている中村です。私は現在、医師向けのライブ動画配信サービスである「Web講演会」というプロダクトにプロダクトマネージャーとして携わっています。今回の記事では、Web講演会のグロースに取り組む中での学びをご紹介します。

はじめに

突然ですが、先日開催されたpmconf2024は参加されましたでしょうか。

2024.pmconf.jp

私は1日目にオンラインで参加しました。どのセッションも非常に見応えがあり勉強になったのですが、中でも印象に残ったのが曽根原さんのセッションでした。

2024.pmconf.jp

その中で語られていた「プロダクトのインパクトは自分達の意思決定レベル以上に上ブレすることはない」というメッセージが胸に突き刺さっています。

というのも、先日Web講演会について取締役CTO兼VPoPの山崎と合宿（という名のMTG）を行ったのですが、そこでの学びが先の「プロダクトのインパクトは自分達の意思決定レベル以上に上ブレすることはない」というメッセージと重なったからです。具体的には、意思決定のレベルをあげるためには売上構造の解像度を上げる必要がある、ということを学びました。

ちなみにエムスリーのプロダクトマネージャーが実施する「合宿」については次の記事でご紹介しておりますので、よろしければご覧ください。www.m3tech.blog

ここで、プロダクトマネージャーであれば担当プロダクトの売上構造は理解していて当然のことだと思われるのではないでしょうか。当然高いレベルで理解されているプロダクトマネージャーもいらっしゃると思います。ただ、もしかすると「知ってるつもり」の罠にはまっているケースもあるかもしれません。

Javaバッチのクラウド移行プロジェクトの泥臭い挑戦

この記事はエムスリー Advent Calendar 2024 の18日目の記事です。

こんにちは、基盤チームエンジニアの桑原です。最近はKeychron Q11を購入してキーボードライフを楽しんでいます。昨日はキースイッチの交換に失敗し、10年ぶりにはんだ付けをして何とか事なきを得ました。

はんだ付けしたら巨大な鉛の塊ができてしまったの図

本日は私が半期取り組んでいたJavaバッチのオンプレからクラウドリフトプロジェクトについて紹介します。なかなか泥臭い作業が多かったのですが、ありのままの仕事内容をお伝えします。

GPUで高速なモデル推論を実現するために考えること -FlashAttentionはなぜ高速か-

こちらはエムスリー Advent Calendar 2024 17日目の記事です。

AI・機械学習チームの髙橋です。チームでは先週からNeurIPS読み会が開催されており、"Deep Learning Architecture, Infrastructure"という深層学習のアーキテクチャに関するセッションを担当しました。その中でも興味深い一本として"You Only Cache Once: Decoder-Decoder Architectures for Language Models"という論文を勉強会まとめブログで紹介してます。 www.m3tech.blog この論文ではLLMの推論時に用いられるKey Value Cacheという仕組みに着目してGPUメモリの占有量やスループットを大幅に向上させるアーキテクチャを提案していました。非常にモデルが大規模化した昨今、この論文のようにGPUが持つハードウェア特性に応じてモデルのアーキテクチャを改良することがより一層求められています。

この類の技術で有名なものとしてFlashAttentionというLLMのAttention機構の推論を高速化するアルゴリズムがあり、論文では最大6倍程度Attention機構の推論速度が向上することが報告されています。しかし、FlashAttentionは行列計算の演算量を削減するわけではありません。それなのになぜこれほど大幅な高速化が達成できたのでしょうか。

答えはFlashAttentionの論文タイトルにもなっているとおり"Fast and Memory-Efficient Exact Attention with IO-Awareness"、I/Oが大幅な速度向上の鍵です。 ではなぜこれほどGPUでのI/OがAttention機構の計算でクリティカルなのか、今回は行列演算とI/O、そのバランスに着目して実際の計算量を見積もりしつつGPU上でのモデル推論速度を考えていきます。

友達の友達が多い！友達パラドックスについて

エンジニアチームのUK. ( @ukohank517 )です。このブログはエムスリーアドベントカレンダー15日目の記事です。 今日は友達に関すパラドックス(Friendship Paradox)について紹介したいと思います！

はじめに

実は10年も前の論文で発表された内容なんですが、最近見かけて読んだら思わず「えっ、こんなことあるんだ！」と驚いてしまったんです。

気になる方はこちらのリンクから論文をチェックしてみてくださいね：

www.nature.com

リサーチプロダクトチームがここ最近やってることをざっくり紹介するぜ

こんにちは、エムスリーエンジニアリンググループ/ BIR(Business Intelligence and Research) チーム の遠藤(@en_ken)です。

BIRはアンケートシステムをはじめとするリサーチプロダクトを開発しているチームです。チームの詳しい紹介は次の資料を読んでいただければと思います。

speakerdeck.com

ここ1年ほどでチームの様相は様変わりしました。 一時期エンジニア3,4名ほどしかいなかったチーム状況から現在はエンジニアだけでも9名まで増え、PdMが2名参画したことで開発状況もこれまで以上に活況になってきています。開発スタイルも個人開発に近かったものからチーム開発にシフトしました。

チームの状況だけではなく、我々の開発運用しているアンケートシステムについてもリアーキテクトの方向性を明確にしたことで、チーム全体でそこに向けて開発を進めています。今回の記事では、BIRのここ最近のアンケートシステム開発の概要を紹介させていただきます。