エムスリーテックブログ

エムスリー(m3)のエンジニア・開発メンバーによる技術ブログです

2024年の技術動画からオススメをまとめるぜ

年末にこんにちは、こんばんは。VPoEの河合(@vaaaaanquish)です。 声優の小林裕介さん、内山夕実さんが、ご結婚されたとの事で、最近リゼロ最新話まで追いついた私も喜びを隠せません。嬉しい!

さて、本記事では2024年も終わるこの日に年末年始を楽しく過ごせる技術LT動画をいくつか紹介して、皆様によい年末を提供出来ればと思い筆を取っています。

年の暮まで技術技術でやっていきましょう!

  • エムスリーテックトークとは
  • TEX嫌い大学生の闘い
  • Firebase De Akka Actor版人狼アプリリメイク
  • フラクタル図形をうろ覚えの式から描いてみた
  • PlaywrightでVRT環境を整備してハッピーになった、その先の世界
  • Water Sort Puzzleを解いてみる
  • おわりに
    • We are hiring !!
      • エンジニア採用ページはこちら
      • カジュアル面談もお気軽にどうぞ
      • インターンも常時募集しています
続きを読む

エムスリーのAI・機械学習チームって何やってるの?2024年1年間で作ってきた28個のプロダクトを大公開

こんにちは。エンジニアリンググループゼネラルマネジャー & 機械学習エンジニアの大垣です。

さて、私が機械学習エンジニアとして仕事をしているAI・機械学習チームでは、今年一年で28個のプロダクトをリリースしました。月に2つくらいは新規プロダクトが出てる計算ですね。なかなか高速にリリースできているのではないでしょうか。 なお、この1年で5名のメンバーが新規に加わり、チームが12人から17人になったので、来年は更に加速していきたいです!*1

これらのプロダクトを簡単にお見せしつつ、エムスリーという医療xWebの企業でMLのチームはどういう仕事をしているのか、というのをお届けできればと思います!

多いっちゃ多いので、新メンバーはカルタでプロダクトを覚えています。このカルタ自体もLazzaroniというプロダクトです
年間15個以上のプロダクトをリリースするAIチームを入社したてのフレッシュな目線で紹介する - エムスリーテックブログ

  • 2024年に立ち上げられたAI・機械学習プロジェクト一覧
  • レコメンド
    • コンテンツの回遊
    • 求人の最適化
    • クロスサービス
    • 内部広告枠
  • ユーザー向けアプリケーション
    • EBHS
    • 製薬業界の方向けPWAアプリケーション
  • 情報提供のオートメーション
    • 時系列での興味モデリング
    • 自動配信
    • 外部広告
    • ダッシュボード
  • 臨床AI
    • 線維化ILDの早期診断のためのBMAXがリリースされました
    • PAHの診断の研究がリリースれました
    • その他まだ開発中のもの
  • 他のMLプロダクトに提供するための内部エンジンプロダクト
    • LLMによる記事の構造化
    • 動画データの文字起こし・構造化
    • 文章をいい感じの場所で区切る
  • MLインフラ
    • 内製機械学習パイプラインgokartに強力な型サポートを導入する
    • チーム内linter
  • We are hiring !!
    • エンジニア採用ページはこちら
    • カジュアル面談もお気軽にどうぞ
    • インターンも常時募集しています

*1: プロダクトカルタのブログにあるように、今年はじめ時点では年間15くらいだったので、今年も開発速度が1.5倍以上になってます

続きを読む

AIチームGoogle Kubernetes Engineオンボーディングチュートリアル

こんにちは。AI・機械学習チーム(以下AIチーム)チームリーダー、兼、エンジニアリンググループゼネラルマネージャーの横本(@yokomotod)です。

AIチームでは開発したMLプロダクトの実行基盤としてGoogle Kubernetes Engine(以下GKE)を採用しています。デプロイ関連コードのテンプレートも整備され、新しいプロダクトをスタートさせるときはGKE初心者でも簡単にデプロイまで持っていけるようになっています。

しかし自動生成は一方で、なにがどうなってデプロイされているのかブラックボックスのままになってしまいがちという問題もあります。

そこで今回は、チームメンバーへのオンボーディング、そしてKubernetesを触ってみたい人の参考になればと期待して、 ゼロからGKEにデプロイするハンズオン形式のチュートリアルを作ってみました。

  • What's this
    • 前提条件
  • GKEクラスタの準備
    • プロジェクトの作成
    • Billing Account の設定
    • GKEサービスのAPIを有効化
    • GKEクラスタの作成
    • クラスタへの接続
  • デプロイするDockerイメージの準備
    • サンプルアプリケーションをビルドする
    • Artifact Registryにプッシュする
  • いざデプロイ
    • プレーンなYAMLファイルでのデプロイ
    • Namespaceの作成
    • Deployment の作成
    • Service、Ingress の作成
  • 改善
    • Kustomize の導入
    • Skaffold の導入
  • お片付け
  • おわり
    • We are hiring !!
      • エンジニア採用ページはこちら
      • カジュアル面談もお気軽にどうぞ
      • インターンも常時募集しています
続きを読む

半年間の運用で学んだDatastream導入の勘所

こんにちは、エンジニアリンググループデータ基盤チームの木田です。先日公開されたCTO兼VPoP山崎の記事にある通りゼネラルマネージャーを拝命しまして、データ活用の観点だけではなくそれ以外の側面でも組織全体を支える立場となりました。クリスマスが過ぎ、すっかり街は年末モードになりましたね。毎年この変わり身の速さに驚くとともに、新年の足音を感じる時期でもあります。

門松とクリスマス飾りが同居する年末らしい光景。エムスリー赤坂オフィスから徒歩15分の距離にある麻布台ヒルズマーケットの一角にて

エムスリーのデータ基盤利用者は今年も順調に増えまして、システム (サービスアカウント)も含めると倍々で増加しております。それに呼応する形でBigQuery上のクエリやユースケースの多様性 (そして料金も) 増しております。データ基盤の開発・運用を手がけるデータ基盤チームでは、今年の活動としてdbtやdataformの利用拡大によるデータパイプラインの品質強化や、クライアント企業へのタイムリーなレポーティングニーズに対応するためDatastream による基幹データベースからのニアリアルタイムデータ連携を始めました。Datastreamの導入・運用を夏頃から始めて約半年が経ち、本記事では導入時の検討事項やその後の運用について振り返ります。

  • CDCとは
    • CDCの使い所
  • CDC導入の事前準備と設計
    • ソースDBにロギングの設定を追加する
    • ネットワーク経路を確認する
    • BigQueryのデータセットを用意する
  • 運用開始後のトラブルシューティングあれこれ
    • BigQuery上で更新反映されない問題
      • データソース側のログアーカイブ待ちによるもの
      • BigQuery側のstalenessの設定によるもの
    • Backfillしたらレコードが重複
  • Datastream導入の振り返り
    • 良かった点
    • 難しかった点
  • まとめ
  • We are hiring !!
続きを読む

エムスリーの全員 QA 作戦

皆さんこんにちは。エンジニアリンググループゼネラルマネージャー兼 QA チームリーダーの窪田です。 1年が経つのは非常に早く、やりたかったことをやれたのかと振り返る年末になりました。 本日は私が GM になる前から力を入れてきた活動「全員QA体制への移行*1」についてお話をします。 本内容は、12/24 に取締役CTO兼VPoPの山崎がブログで話題に挙げていた「組織的ステップチェンジ」の1つでもあり、組織的なインパクトも大きな活動です。

www.m3tech.blog

  • はじめに
  • 現状の開発フロー
  • 全員 QA 体制への移行
    • 決起集会(エンジニアリンググループミーティング)
    • 方針・目標設定と周知
    • 現在までの進捗
  • おわりに
  • おまけ
  • We're hiring

*1:プロジェクトネームがほしいよねという話にもなり、チームメンバーやChat GPTなどに相談した結果 Quality boost tActics 略してQubotA という愛称を影でつけています。

続きを読む

エムスリー学生エンジニア向け情報まとめ

こんにちは、最近Re:ゼロを人生で初めて見ましたVPoEの河合(@vaaaaanquish)です。もっと早く知りたかったです。

さて、エムスリーエンジニアリンググループでは、長らく新卒エンジニア採用を小さい規模で進めておりました。 2024年からは、その規模を少し拡大し、様々なイベントに出たりインターンを受け入れるなどしています。

本記事は、学生エンジニアの皆様から聞かれる事も多い内容をまとめ、エムスリーのエンジニア組織を知って頂く事を目的とするものです。

  • エムスリーのエンジニアインターン
    • Rust/Go/k8sを全て触ってBatchをリリースした事例
    • 実プロダクトのKotlinバックエンドを改修した事例
    • 分散処理MLOpsのOSSを開発、公開した事例
    • 社内のBQテスト基盤を作った事例
    • 動画をテキスト化してLLMで要約、リリースした事例
    • 医療画像を解析するMLモデルを構築した事例
  • エムスリー株式会社について
    • エムスリーが創る事業とプロダクト
    • 事業を支えるエンジニアリンググループ
    • エンジニアのギークカルチャー
  • 活躍するエムスリー新卒エンジニア
  • おわりに
    • We are hiring !!
続きを読む

2024年にエンジニアリンググループミーティングで紹介した書籍の紹介

年末にこんにちは、こんばんは。12月に長女の音楽発表会があり、長女の成長に涙したVPoEの河合(@vaaaaanquish)です。

本文とは関係ない娘と私

本記事では、エンジニアリンググループで毎月行っている全体会、Group Meetingで実施している『おまけコンテンツ』を紹介します。

オススメの書籍紹介になりますので、年末のお供に是非。

  • Engineering Group Meetingとは
  • 書籍紹介
    • 仕事に必要なことはすべて映画で学べる
    • 熟達論 - 人はいつまでも学び、成長できる
    • RANGE(レンジ)知識の「幅」が最強の武器になる
    • データセキュリティ法の迷走
    • テクノロジーの世界経済史 ビル・ゲイツのパラドックス
    • ビジュアル・シンカーの脳: 「絵」で考える人々の世界
    • テクノロジストの条件
    • ネガティブ・ケイパビリティ 答えの出ない事態に耐える力
    • 実力も運のうち 能力主義は正義か?
    • 1兆ドルコーチ
  • おわりに
    • We are hiring !!
      • エンジニア採用ページはこちら
      • カジュアル面談もお気軽にどうぞ
      • インターンも常時募集しています
続きを読む