ツナワタリマイライフ

日常ネタから技術ネタ、音楽ネタまで何でも書きます。

開発日記 12/15

試合で 1500m 泳いだ。会場と、家に帰ってから作業した。もんじゃおいしかった。

昨日明日やるっていってたこと

monorepo-dep-doctor の ignore file の仕様変更開発。サービスディレクトリ単位で無視したい要望を社内からもらったので。これね。ちゃんと問題なく動いていて安心した。

やった

妻と料理記録系アプリの要件定義を進める

これは妻が時間取れなかったので pend

flutter の素振り

やった

やったこと

monorepo-dep-doctor の改修

"monorepo" ってついてるからね。ディレクトリ単位で無視できるようになりました。

github.com

仕様を変えたので v1.0.0 にした。そうしたらビルドがこけたので直した。

flutter (dart) キャッチアップ

Native App 何か1つ年内でリリースしたいのでやる。

で、さすがに何書いているかわからんのはまずいので公式の Learning contents 追いかけながらコード書いて動かして理解してる。

github.com

半端になったけど introdocution の途中まで。

dart.dev

OpenAI Sora

ちょっと触った。まだうまく Story board でのコントロールができてない。いったん社内の Bot のイメージビデオでも作ろうと思っている。

明日やること

やること管理するなんか簡単なものがほしいなあ。個人 Slack の Later かな。とにかく追加が簡単なものがいい。Twitter で fav ったやつとか取り出すのめんどい。

  • flutter のセットアップとビルドをやる。iOS アプリ。
  • dart の基礎はコツコツ進める
  • sora で社内 bot のイメージビデオ作る
  • Azure AI Agent 素振り What is Azure AI Agent Service? - Azure AI services | Microsoft Learn

シンクロしたので明日なりさんと飲みに行く。たのしみ

ちなみに前回7月で次回は年末あたり！といってたのが最後のメッセですごいタイミングだった、うける

他感想

  • OpenAI Pro は毎日触ってるし、本当に3万円の専属秘書である。音声入力でも指示できるし最高すぎる
  • Cursor も毎日触っている。dart をキャッチアップしているが、学習効率も格段に上がると感じる
  • 今もお風呂でこの Blog を書いている。風呂グラマーである。湯船に浸かるの好きなんだよなー

開発日記 2024/12/14

今日は久しぶりに元副業先の元同僚の方とお会いしてめちゃくちゃ刺激を受けた。

自分のキャリアとか今後を明確に考えるきっかけになった。

で、帰宅して妻と合流。色々話して、「クラフトビール」の選び方を参考にするためにタイプ診断の Web アプリを作った。

要件定義と、細かい点とか画像あたり時間かかったが、3時間ほどで概ね動くものができた。

OpenAI o1 pro がえぐすぎる。判定のアルゴリズムとか自分でも思い浮かばないものを出してきた。

加えて cursor pro もようやく契約。すごそうだと思っていたが、2ヶ月以上乗り遅れたことを本気で後悔した。これはマジでやばい。

結果 TypeScript のコードを自分自身で1行も書かずに Next.js のアプリを作り、vercel にデプロイ。

残りはクラフトビールジャンルごとにアフィリエイトリンク流して、役に立ったら買ってもらってちゃりんちゃりんなる仕組みは一応作っておきたいので、そこまでやったら公開予定です。

明日やること

  • monorepo-dep-doctor の ignore file の仕様変更開発。サービスディレクトリ単位で無視したい要望を社内からもらったので。これね。ちゃんと問題なく動いていて安心した。

blog.studysapuri.jp

  • 妻と料理記録系アプリの要件定義を進める

  • flutter の素振り

Datadog LLM Observability で custom evaluation を使ってみた

こんにちは！本記事は、Datadog の LLM Observability 機能において、custom evaluation を利用して独自の評価指標を送信した例を紹介します。

この記事は Datadog Advent Calendar 2024 10日目の記事です。

LLM Observability 概要

LLM Observability は、Datadog が提供する LLM（Large Language Model）アプリケーションの観測機能です。
OpenAI や Azure OpenAI、Anthropic といった様々な LLM プロバイダに対するプロンプト・レスポンスを可視化・分析できます。
これにより、LLM に関する以下のような観点での観測が容易になります:

  • LLM への入力（prompt）と出力（response）のトレース化
  • トークン使用量、応答時間、成功・失敗ステータスの可視化
  • ダッシュボード上での総合的な分析

Datadog LLM Observability 概要ページ

さらに、Datadog LLM Observability では、evaluation（評価）を送信することで、モデルの回答が正しいかどうか、ビジネスロジック的に望ましい回答になっているかなどの独自指標を可視化できます。

custom evaluation とは

custom evaluation とは、LLM の応答結果を独自基準で評価するための仕組みです。
例えば、LLM が出した回答が正解か不正解か、あるいは特定の条件を満たすかどうかを、自分たちで定義したロジックで判定し、その結果を Datadog に送信することで、後からダッシュボード上で分析・可視化できます。

Python SDK であれば利用は簡単ですが、Application が Python でない場合は API 経由で直接 JSON を POST することで評価メトリクスを送信可能です。

docs.datadoghq.com

TypeScript での実装例（抜粋と解説）

以下は、TypeScript から Datadog LLM Observability に独自の評価メトリクスを送信する例の一部抜粋です。

// custom evaluation metric を送信する関数例
export async function submitEvalMetric(
  spanId: string,       // LLM要請に対応するスパンID
  traceId: string,      // トレースID
  timestamp_ms: number, // 評価を行う時刻（ミリ秒）
  evalResponse: string, // "1" なら正解、"0" なら不正解などの独自評価値
  DATADOG_API_KEY: string,
) {
  // "1" -> "true", "0" -> "false" といった形で評価値を変換
  const categorical_value = evalResponse === "1" ? "true" : "false";

  // Datadog へ送信する JSON ボディ
  // metric_type="categorical" とすることで分類メトリクスとして送信
  // label="Answered" は評価対象の指標名
  const body = {
    data: {
      type: "evaluation_metric",
      attributes: {
        metrics: [
          {
            span_id: spanId,
            trace_id: traceId,
            ml_app: "your-llm-app",         // モニタリング中のアプリ名
            timestamp_ms: timestamp_ms,
            metric_type: "categorical",
            label: "Answered",
            categorical_value: categorical_value,
          },
        ],
      },
    },
  };

  const res = await fetch(
    "https://api.datadoghq.com/api/intake/llm-obs/v1/eval-metric",
    {
      method: "POST",
      headers: {
        "DD-API-KEY": DATADOG_API_KEY,
        "Content-Type": "application/json",
      },
      body: JSON.stringify(body),
    },
  );

  if (res.status !== 202) {
    const responseBody = await res.text();
    console.error(
      `Failed to send evaluation metric to Datadog. status:${res.status} body:${responseBody}`,
    );
  } else {
    console.log(`Successfully sent evaluation metric to Datadog. status:${res.status}`);
  }
}

ポイント解説

metric_type に "categorical" を指定すると、true/false だったり、ラベル分けによる評価が行えます。 今回は label フィールドで「Answered」という指標名をつけ、回答できたかの True / False を送信しました。

metric_type は他に score もあり、この場合 score_value で number を送信できます。

なお、この 0 or 1 を判定するのに LLM as a Judge を利用しており、LLM によって「質問に回答できているか？」を評価させたものを submit しています。

    // Evaluation
    // TODO: Structured Output を使ってみたい
    // ref: https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/introducing-gpt-4o-2024-08-06-api-with-structured-outputs-on/ba-p/4232684
    const evalMessages: Message[] = [
      {
        role: "system",
        content:
          "あなたは質問と回答のセットを評価します。質問に対して回答できているかを判断してください。回答できていない場合は 0、回答できている場合は 1 を返してください。",
      },
      { role: "user", content: `質問: ${content} 回答: ${originalAnswer}` },
    ];
    const evalRes = await evaluateRequest(
      env,
      evalMessages,
      traceId,
      evalSpanId,
      spanId,
    );

スクリーンショット例

今回はとある RAG を利用した Bot で利用しました。このように Answered（名前微妙ですね...）という指標が categorical で TRUE / FALSE で送られています。

感想

API が用意されているので、Python 以外でも送ることができました。

このように簡単に利用できるので、LLM Application を使う場合は最初から入れておくと良いでしょう。モデルを変更した場合の評価もできますし、他のアプリケーション同様 Datadog 上でモニタリングが可能になります。metrics として扱えるのでアラート設定も可能です。 ぜひ使ってみてください。

近況 2024/10

なんとかやってます！

仕事

期が変わるタイミングだった。組織としては大きな変更はなし。新任マネージャーを1人受け入れた。あと、生成AIをプロダクト開発に組み込むことを主眼にしたグループを立ち上げた。

考課/グレード設定会議についても3回目の経験となる。こちらも毎回難しいが、正解のないことに対して合意形成をする、そのための考え方の共有は以前よりできてきたように思う。難しいけどね。全力を尽くしました。

ビジネス(PdM)のトップの方の意向で、組織長が集まる会議で開発組織がどのように事業貢献するかの発表をしたら、これは全体の場でも話しなよということで、教育事業に関連する人が集まる半期のキックオフ的な場でも話すことになった。300人以上の前で話すのははじめてかもしれないし、エンジニアコミュニティのように聴き手の属性がエンジニアだけでなく、多種多様な役割の人の前で話すということでかなり発表内容は悩んだが、結果的には好評だった。

また、それとは別文脈で、生成AIをプロダクトに組み込むグループを立ち上げたということで、これも5分で話してよというありがたい無茶振りをいただいて、「今日はみなさんに未来にワクワクしてもらいにきました！」と言って3つのデモを動画で解説付きで話した。これもインパクトはかなりあって、たくさんポジティブなフィードバックをもらえた。

ドッと疲れたが、このタイプの仕事も大事だと思う。例えるならば…いや正しい例えかわからないんですが、起業家が投資家にプレゼンするような…(やったことないです) ワクワクする未来を語るという仕事は意味があることだと思う。結果いろんな領域の人から関心を持っていただいたし、アイデアがたくさん出た。

一方翌日からはこれを形にしていくということで、モードを変えて進めている。モードの切り替えが大事だと思う。

なかなか進捗を出すまとまった時間が取れずに大変だが、委譲できることをどんどん委譲していきたい。自分自身が手を動かすことも大事だが、どこまでやるかを見極めてうまくテコを効かせたい。

残されたこの半年を、大切にしたい。

プライベート

前述したプレゼンのあとは休みをとって妻と山梨に旅行に行った。静かで真っ暗な宿で、ぐっすり眠るために。

家主の顔が見えるペンションに泊まった。とてもよくしていただいた。妻はそういう人と仲良くなるのが得意なのですごい。

中日はハイキング。4,5時間歩いて20000歩。登山ほどアップダウンはない。自然の中を歩くのは気持ちが良いね。

バンド

ベースをやっている。エンジニア？ビール？酒？CTO？仲間と。ありがたい。

ベース自体は前バンドでやっていた。でも、その時は、正直言い訳してた。音楽を作る人として、ベースも経験したい。ベースは弾くけど、音楽家なんだと、そう言っていた。

今回は、ちゃんとベースを弾く人として、演奏に向き合いたい。言い訳はしない。

スピッツのロビンソンと、矢井田瞳の Look Back Again をやっている。

ベースは派手さはない。だけれどミスると全てが壊れてしまう重要なパート。このメンバーなら、自分が目立たないところで支えていきたい。そう思っている。

とりあえずエフェクターボードを整えた。ベースは重たいのでスタジオでレンタルしている。バンドがもっと上手くなって軌道に乗ったら、初ライブをやれるようになったらベースを新しく買いたいな。

練習する時毎回基礎練しててえらい。

æ°´æ³³

9月にはマスターズの大会に出た。引っ越して新しいクラブに移ってからはじめて。個人種目2つに、リレー4つも出てなかなか大変だった。

リレーが25m単位でタイムが出なかったのが不満があるところだが、いいタイムが出たものもあった。

水泳に関しても、ずっと言い訳してた。言い訳をやめる。

前の経堂の仲間も会いにきてくれて、嬉しかった。

そして12月にはまた長水路の大会があって、それは経堂の仲間と出るので楽しみ。

練習が火曜しかちゃんとした練習がないのが悩み。土曜は用事入りがちだしなぁ。

キャリア

話戻った。

Director になって1年、次の10月で2年になる。

また、Quipper に入って勤続は6年を超えた。次の10月では7年を超えている。

次の10月には、何かしらの別の何かが見えているといいな。多分、そうなっていると思う。

健康

睡眠時無呼吸症候群の判定が出て、CPAP やっている。1ヶ月でようやく慣れた。そして1回目の面談が終わり、使ってる時は無呼吸の頻度が診断時は57回だったのが1.6回と、効果も確認できた。

目に見える健康の実感があるかというと、まだめんどくささが勝っているが、データで語られると弱い。

引き続き得難い健康をなんとか得ていきたい。

おしまい

おしまい。飲みいきましょー

YAPC::Hakodate 2024 に参加した

した！初参加！栄養摂取した！

前夜祭

金曜日に移動して15時頃ホテル着。15-17 と会議に参加してから、17時半に前夜祭会場に到着。なかなか分かりづらかった...

なんとなく座ったら隣がほにゃにゃさんでびっくりしたw そのあと右隣に藤原さんが座られていたのも合わせてびっくりw 発表もよかった。コスト削減もすごいし、プレビュー環境作れるのめっちゃ開発体験よさそうである。

あとは座談会が印象に残ったなー。自分としてはこれから来ることであるが、若い人から学ぶということは常に心がけておきたい。参考の本もポチったので読みたい。

モダンエルダー　40代以上が「職場の賢者」を目指すこれからの働き方

モダンエルダー　40代以上が「職場の賢者」を目指すこれからの働き方

Amazon

あらたまさん、てっきりいると思ってたのでリモートなのはびっくりでしたが(お大事に!)、会場は盛り上がってました...!

廊下ではクラウドベースの宮川さんや、同社堤さんとはじめましてで、前一緒に働いていた同僚と繋がってることがわかって世間狭いやつをやった。

その後はいつメンで Endeavor へ。そうしたらぞろぞろ人がきてあっという間に YAPC 前夜祭2次会にw ビールどれも美味しかった〜！ていうか安い！飲み比べセット 150mm が3つで780円て。

その後は市電乗って駅へ。いくおさんらがいるといういか太郎へ。海鮮美味しかった。

途中でマグノリアさん合流、スタッフの作業のあと来ていただきました、嬉しかった〜！

やおっちさんにもあらためてご挨拶できてよかった。

そのあとは横丁の小さめなバーでテキーラを飲んだ。普通に中に一人お客さんいたけど写真でめっちゃ馴染んでて笑った...w しのはらさんとタクシーで撤収！

早朝

こういうイベントでもなければ積極的に海鮮の摂取はできないだろうと思ったので参加した。

toggle.connpass.com

ちょっと遅れて入ったらすでに満席で一番手前の席になった。あとレギュレーションも知らされてなかったので微妙に遠慮して B セットにした。うにが乗った5色丼が羨ましかったw いくらもホタテもハラスも美味しかった。

SRE NEXT ぶりに玉田さんと再会できた。サークルの代表をされている学生さんや、トグルホールディングスのマネージャさん、グリーの DevRel の方と同じテーブルでいろんな話ができた。

本編 - 午前

行きのバスでちょっと眠って会場へ。一番早いバスで行った。スポンサーさんもまだブース設営をしていたw

座ってバッグの中のスポンサー資料をパラパラ見てゆっくりしていた。

はこだて未来大学すごい素敵だった！ここで勉強できる学生は幸せだな〜

最初は深町先生のセッション。脚注が面白すぎたw

資料読み直したいなぁ。

そのあとは ymatsu さんのセッション。

この下期から本格的にプロダクトに LLM を組み込んでいく矢先だったので期待していたセッション。

整理していただいた5つのパターンは自社でも役立てられそう。あとモデルの性能があがり、コストが下がり続けているので、今は現実的ではなくても試算できるというのもその通りだと思った。

そのあとはラッキーピエロが配られ始めているということで、なくなる前に一旦確保！そして Perl のセッションを聴きに。

Langauge Server の話、プロトコルを知らなかったので単純に面白かった。シンタックスハイライトとかエンジニア誰もが恩恵を受けているもので、これをいろんな言語で実装できるようになっている、プロトコル・仕様策定ってありがたいし、インターネットの世界はこうやって発展しているんだなぁと実感した。

sed, awk, bash を perl で置き換えられるのでは？という課題提起も面白く、チームで使うのはさておき、自分のローカルで動かすのは少なくとも置き換え可能性はありそうだなと思ったので、perl も動かしてみよう！という気持ちになったセッションだった。

昼休み

外で食べたいと思い、キッチンカーのほうへ。いつメンがいたので合流し、ラッキーピエロ食べたり、余ってたたこやきをつまんだり、並んでる列が短くならないか念じたりした。

ラッピ、肉がたくさんですごいボリュームだった。

スポンサーブースをめぐったあと、次のセッション始まる前ぐらいに再度きて、カレー交換した。美味しかった〜

ランチでたまたま一緒になった Hirata さんはその後ブースでもあって、やってる仕事のこと聞けて面白かった。クラフトビールフレンズでもあった！

スポンサーブース巡り

スタンプラリーちゃんとやって商品交換するかーっていうのと、カンファレンスはスポンサーさんのおかげなのでちゃんとめぐるか！という気持ちで回った。

おみくじは吉で TypeScript だったのでビミョーだった

DELTA さんの AWS 削減クイズは難しすぎたw あと普通に知らない用語もあった...

hacomono さんでカレーもらったり、B/43 でお菓子掴み取りした。各社「クイズ」パターンと、「シールなどでアンケート」パターン、あとは LX さんみたく ADRを見せる、コンテンツを見せるパターンと、いろいろブースパターンがあるなと思った。朝海鮮でお世話になった Toggle さんはデモを見せてもらった。土地に立つであろう建物のシミュレーションができるのすごいなーと思った。

本編 - 午後

午後は onk さんの ADR セッションから。3年運用した学びあって、うちも ADR 運用しているので比較できて面白かった。

そのあともスポンサー会場をちらっと行ったり戻ったりでずっと C 会場にいた。

Kizuku さんの WebTransport の発表は成果が楽しみだな。九工大生、優秀で卒業生の僕は嬉しかったです...

最後 Horii さんのクレジットカードの資料もめちゃくちゃ面白かった。クレジットカードの番号の仕様や、暗号化の仕様、作るプロジェクトがどう流れるかなど、一番身近なクレジットカードの何も知らない部分をいろいろ知れた。

本編 - LT / Keynote

LT はどれも最高だった！うーたんさんのは言わずもがな、YAPC やコミュニティの素晴らしさ、それがいろんな人のキャリアや出会いの機会提供をできていること、若者へちゃんとバトンを渡せていることの証明になっていた。

一番面白かったのは moznion さんの Ruby or Perl クイズ。勢いもあったw 資料公開してほしい...w 実際に Perl も含めて自分で動かしたい。

個人的にベストだと思ったのは chobishiba さんの LT。発表ももちろん上手だったが、「好き」な「技術」を続けていたらいろんな機会を得て大きくなっていく、個人の情熱をもっと大事にしていいんだ、ということを聞けて、自分も好きを突き詰められてるだろうか...と自問した。

Keynote もいわずもがな。「個人技」が後の懇親会で流行語となるw

今はマネジメントの「個人技」をつけてはいると思っているものの、自分のキャリアに想いを馳せることとなった。

懇親会

3人話す人を決めていた！ビール仲間の hokkai7go さん、元 Quipper 同僚の ohberye さん、はてなの onk さん！無事全員話せた！

最初は hokkai さんと近況話しつつ、さくらインターネットの北海道フレンズの方々とテーブルを囲んだ。ビールの乾杯の練習と、食事をとりにいくスピードが素晴らしかった。今後とも見習いたい。

ohberye さんは卒業されて1度も話してなかったので3年半ぶりぐらいになる。実は ohba さんは僕の命の（？）恩人でして、Quipper に入ったばかりの頃、ワークしてなかった僕を気遣っていただいた。久しぶりということで長い時間話せてよかった。今のお互いの仕事のことや、共通事項であるサプリの組織やシステムについて。同窓会しましょう！

そのままみたにさんに繋いでいただいて、ここもがっつり書けない話をしたw

セッション見にいったものの、物理ビジュアルに自信がなかったので hokkai さんに相談して onk さんに引き合わせてもらった。いやー、すごい数年越しの物理はじめまして。いつからか Twitter 上ではお互いひっそり「見ているぞ...」の関係だったのでこのタイミングで話せてよかった。はてな社は卒業生含めみんないい人だ...はてな...好き...という気持ちになる。あの素晴らしいインターンは日本のソフトウェア業界への貢献すごいと思う。

onk さんと話してたらそーたろさんに呼ばれて（たぶん）asumi さんと地元（？）トークしたw

1.5次会

マサヤさんの紹介もあって、2次会会場の近いところにある White Seed へ。美味しかったし、マサヤさんもそーたろさんも縁が繋がったみたいで一瞬だけど行ってよかったね！

2次会

長い1日である！

findy.connpass.com

半分ぐらいいつメンで1階が「吉祥寺では？」という話になった。よくないよ！

九工大の学生さんとお話しさせてもらった。いやー函館で同窓生とお会いするなんで。

飯塚でカンファレンス...できるといいね...!

3次会?

夜風に乗って歩いて街の方へ。最後バーでテキーラ飲んで、眠さの限界がきたので脱出。Engineering Manager の責任範囲というおもしろテーマを話していた。

翌日

限界まで寝て空港で立ち食い寿司食べて帰宅！おつでした！

感想

  • Open the future というテーマ、すごいよかった。まだ答えはでていないけど、自分の近い将来をどう開いているか考えたい

  • 「コードを書きたい！」という栄養素を摂取できた。これはカンファレンスでしか摂取できないよねぇ

  • 今回は新たな出会いもあったし、加えて「再会」が多くてありがたいなと思った。

  • 次はマイホームタウン、福岡ということで絶対登壇します。よっしゃ。

最後に、吉祥寺界隈のみなさん、いつもありがとう！ BigLove to そーたろーさん、いくおさん、すてぃおさん、ちゃんさん、マサヤさん、しのはらさん、songmu さん

初参加でしたがめちゃくちゃ楽しかったです。スタッフの皆さんもありがとうございました！

SRE NEXT で「SRE の考えをマネジメントに活かす」で登壇しました #srenext

Photo by SRE NEXT Staff

Photo by SRE NEXT Staff

Photo by SRE NEXT Staff

Photo by SRE NEXT Staff

Photo by SRE NEXT Staff
*1

してきましたー。来ていただいた方、スタッフ、スポンサー、レビューしていただいたチームメンバー、本当にありがとうございました。

裏番組が立ち見満員御礼（入室制限）発生ということで、なんともな気持ちを持ちつつも、登壇するときのいつもの心持ち「誰か一人に何か持って帰って貰えばそれでいい」を胸に向かいました。いつまで経っても緊張しますね。あと最悪（？）会場に人がいなくてもオンラインもあるし...! みたいなことを言い聞かせていた気がします。

CfP

去年引退です！とかいいつつ引退詐欺をしたわけですけれど、コアスタッフをはじめた時点では出すつもりはなく、近づくにつれて「これ出して通っても落ちても面白いな？」などと考えはじめて出すに至りました。

ネタとしては頭の中に前からあったもので、よく自分の後任のマネージャの 44smkn さんとマネジメントは SRE と同じですよ〜みたいな話をしていたものを使いました。

出したプロポーザル載せておきますね。

■発表のタイトル：

SRE の考えをマネジメントに活かす

■発表の概要：

このセッションでは、SRE (Site Reliability Engineering) の経験を活かし、組織の信頼性とパフォーマンスを維持するためのマネジメントスキルについて解説します。SREとマネージャーの役割の違いや共通点を明確にし、具体的な業務内容を例にして応用方法を紹介します。アラート対応、人材育成、リスク管理、組織設計など、SREのスキルをマネジメントにどのように転用できるかを具体例を交えて説明します。人間はシステムとは異なるため、同じアプローチは通用しない場面もありますが、同じメンタルモデルを適用できるケースもあることを示し、実践的なヒントを提供します。

■聞いた人が得られるもの：

SREを経験した人がマネージャーとして活躍するための具体的なヒントや、現在マネージャーを務める人がさらに効果的にマネジメントを行うための実践的なアドバイス。

■発表の詳細：

  • 自己紹介
    • 発表者は SRE, SRE マネージャ, 開発部部長の経験がある
  • SRE とマネージャの違い
    • 対象はシステムか、組織か
    • 「期待する」信頼性を維持する
    • 「期待する」パフォーマンスを出せるよう支援する
  • SRE の業務内容をマネージャの仕事に例えてみる
    • アラート対応: 仕事や人間関係の問題への対処
    • パフォーマンスチューニング: リソース配分と育成
    • 冗長化とリスクマネジメント: リソースの冗長化とリスク管理
    • アーキテクト・システム設計: 組織設計とインターフェース設計
  • 具体例
    • アラートをあげてもらえるように期待値を合わせる (≒ SLO の合意)
    • 組織上のリスクを評価し、計画し、実行する
    • 組織間のインターフェース設計としての"Team API" の策定
  • 注意点
    • やっぱり人間って難しい...!
    • システムのように全く同じであると考えてはいけない
    • 同じアプローチは通用しないが、同じメンタルモデルを適用できる場面もある
  • まとめ

毎度毎度のエクスキューズですが、SRE NEXT のプロポーザル審査は基本的にブラインド（応募者情報を見ない。そもそもフォームにはメールアドレス以外の所属情報など収集していない）で行われます。かつ、自分のものには一切コメントができないため、コアスタッフであれフェアに選考させていただいています。

来年はどうでしょうね、あいつは引退するする詐欺だと @EGMC さんや @yuuk1 さんに言われてるので懲りずに出すかもしれません。今後1年間の @chaspy の経験に期待としておきましょう。

発表

資料自体は前もって仕上がってたので安心して当日に挑めました。直前に EMs にレビューお願いして、特に @44smkn さんのレビューはありがたかった。足りないところを指摘いただき補えたと思います、本当にありがとうございます。

スライド作りがいつもつらくて、今回は枚数に制約をかけて、20分なので20枚で行こうと決めてました。(結果27枚…まぁつかみのしょうもない？スライド数枚+FAQを差し込んだぐらいなのでよしとしよう)

pdf を chatgpt に読ませてレビューしてもらって、なるべく文字だらけのスライドは減らせました。結果 SRE とマネジメントの対比が分かりやすかったという声も聞けたから良かった。

人の入りも、裏番組に怯えてて、(まぁ裏番組が強くない時間帯なんてないのが SRE NEXT のすごいところであり、登壇者としては乗り越えないといけないハードルなわけですが...w パネルもですし、ぐりもおさんのセッションもめちゃくちゃ需要高くて刺さるだろうし) 直前5分前までは控えにいて。カメラマン、配信チーム(もちろんいたたにさん、しののめさんにも！)、司会、カメラマンのsaitoさんに挨拶して、深呼吸して立ちました。知ってる顔も何人か来てくれて安心しました。心強かったです、ありがとうございます。

数えてはないのですが思ったより入っていただけて。裏番組が強いからこそ、聞いて欲しい人に来てくれたなぁという感覚があって、想定聴衆かどうか手を挙げてもらったんだけど狙い通りの割合で嬉しかったです。なぜか「裏番組が強いですが、こっちもいい話するんで！」などとハードルを上げていたw

結果来場者満足度も結構な票が入っていて嬉しかったです。言いたいことは1つ、「マネジメントもSREも期待値調整なんです、だからもうすでにやってるんです。もし興味があればチャレンジしてみませんか？」ということだけで。

何年か後にあのときの発表聞いてマネージャーのキャリアを目指して、今なりました！という人が現れたらこんなに嬉しいことはないな、という気持ちです。

Ask the Speaker

誰も来なかったらどうしよう！その2でしたが、来てくれて嬉しかったです。ことみんさん (@kotomin_m) やまはらさん (@shonansurvivors ) ayana murakami さん (@Ayana_moomin) とたくさんお話できてありがたい時間でした。

ことみんさんは聞いたセッションすべて Ask the Speaker 行かれたとのことで、参加者の中で1番吸収してるんじゃないかと思いました、すばらしい。

ことみんさんは想定する参加者の中では現役のマネージャーでも、(今現在)マネージャーを目指してるわけでもない、3つ目の想定者でしたが、プロジェクトマネジメントでも同じですよね、と自身の関心に得たことを当てはめていて良いなと思いました。

やまはらさんは逆に僕と近い立場で VPoR をやられていて、自分の専門分野でない領域のマネジメント(エンジニアリングですらない)もされていて、僕自身ケーススタディはかなり勉強になりました。

murakami さんは今後インターン生のメンターをやるとのことで、マネジメントの第一歩ですよね、期待値調整をマネージャーやリーダー、あるいはインターン生とやりましょうねという話をしました。

登壇者としては、発表のフィードバックをもらえることが何よりもギフトで、やりがいです。こうやって直接声をきける場を作ってくれて SRE NEXT Staff には本当感謝です。イベントチームありがとうございます！

他、当日ツイートや、ブログで言及いただきありがとうございました！すべて目を通しております！感謝

これにて僕の SRE NEXT 2024 は終了です。2020ぶりにスタッフ復帰させていただき、発表の機会までいただき、僕自身学びの機会となりました。引き続き SRE NEXT が続いていくことを祈りつつ、自分なりの貢献の仕方を見つけて行動していきます。

ありがとうございました！

おまけ、ツイートやブログ

ryuichi1208.hateblo.jp

SREは生き様。すごく納得はしていたがどうSRE以外の活動に活かすかって結構難しかったりします。この発表を聞いて類似点を見つけつつSREとマネジメントでの違いに着目するという進め方はさまざまな場面で参考になるなと思いました。

nulab.com

このようにSREの視点からマネジメントを学ぶことでマネジメント業務を敬遠しがちな自分にとって、抵抗感が減り、より親しみやすく理解しやすい内容でした。 あと個人的に気になったのは、マネジメントにおいて傾聴力や言語化スキルは後天的に習得できるということ。 この話はセッションの中ではあまり深堀りされていなかったのでAsk the Speakerで直接質問すればよかったな〜と思いました。

*1:chaspyさんはたくさん動いてくれたので撮れ高高いと言ってもらえましたw PC画面じっと見てると同じ絵になっちゃうよね...

近況 2024/08

夏休み！

金曜はオザキで植物めっちゃ増やした。土曜はビアフレンズだちと日本酒したりビールしたりカラオケしたりしてめっちゃ遊んだ〜。日曜は妻の両親来たり、夜は阿佐ヶ谷祭いったりしてエンジョイしております。

12-14 が福岡、15-18がライジングサンで終わるんですが、そんな中夏休みにやりたいことリストあげていく

夏休みやりたいことリスト

書籍執筆

共著なんですが1つあるので、環境を整えて、少なくともあとは机に向かうだけ！みたいな状況にはしたい。夏休み中に5割-6割のやわい感じに、8月中に8割ぐらいにしたい。

Notebook LM 活用して調べ物便利にしたりしたいなぁと妄想している。

カメラ機材

バッテリーと三脚は一旦揃えておきたい。

望遠レンズに関しては次試してからだろうなぁ。 カンファレンスとかそれ以外とか人が集まる催しで、思い出残したい！ばちばちプロじゃなくて良い！みたいな需要あったら呼んで欲しい…場数踏みたいです。(もちろん謝礼不要)

あとはjpg撮ってだしはいいけど、向きの調整とホワイトバランス微修正ぐらいはやったら？という気持ちになったのでソフトちゃんと使えるようにしておこう…

コミュニティ活動

SRE NEXT 2024 が終わったので、ひと段落だが、2025の準備がぼちぼちはじまる。記憶に新しいうちに次に向けてやりたいことを仕込んで動かしておきたい。

JDDUG も夏のmeetup#5が終わったので次は秋！LP を jekyll で作ってるんだが、細かい気になるところあるので直しておきたい。

Raycast å°Žå…¥

Alfred からの乗り換え検討中。使い心地慣らしておきたい。

Bolt での Slack bot 構築

いま Slack bot 作るなら next gen platform の方で deno で動かしている。んだが、メッセージに反応する系だとチャンネルが限定されるという問題がある。link trigger だと解決したいするのかもしれないけど。別チャンネルから呼びたい&DMでプライベートで呼びたいというニーズがあるので how 知っておきたい。

LLM 関連のキャッチアップ

  • Amazon Bedrock
  • SML, Phi3 をローカルで動かす
  • ファインチューニング
  • 検索システム本読む

こんなとこにしとく！今回は外出ちゃう&連休延長しなかったので時間ないなー

近況振り返り

コミュニティ活動

とにかく忙しかった〜SRE NEXT のあの3日間は本気で睡眠不足でしたね、サステナブルじゃないと思います！加えて自業自得ですが自分のスライド作るのに4時間深夜を2日やってるのでもうボロボロでしたね。大きな問題なく無事に終わって良かったです。これまで話したことなかった人とも話せてたくさん出会いがありました。カメラ熱もきたし！🔥

それをサンドイッチするように7/30はDatadog Live Tokyo、8/7 に JDDUG#5 でした。

Live Tokyo のパネルは個人的には自己採点40点かなぁ、パネル、難しい…！事前の準備で7割勝負が決まってる感がある。

JDDUGはFindyさんオフィスをお借りしました。おかけで初のオンライン配信もできました。IPA も美味しかった！

そういえば Datadog オフィスでもオンライン配信できるように技術つけたい&機材揃えたい気持ちもありつつ、やっぱ配信は専任メンバーいないと厳しいよなと思う。技術的にもそうだけど、時間的にもはりついてなくちゃいけないって意味で。どちらかというと今はカメラ撮りたいしね。

というわけで JDDUG はまた秋開催で細々とやるとして、登壇やイベント参加はおやすみモードに入る予定。

仕事

こちらもあっという間に終わった感。夏休み明けたらもう下期の組閣だ考課となる。

この期は管掌範囲が倍になり、マネジメント人数も過去最大となった。(直接が16名、直下が80名ちょっと。)期初は引き継いですぐのトラブル対応だったり、その後は組織変更後のトレードオフの問題の顕在化などあっちこっち走り回ってた感じがある。その他いろんな問題があった。(書けることなさすぎ)

睡眠はちゃんと取って、休みも取れてるのでそこは大丈夫。

一応、課題が起きたらそこへ対処することをやりつつ、未来に向けたタネもいくつか仕込んだ。また、期初に設定したミッションがうまくワークしたところもいくつかあって、手応えはいくらかある。

毎回命大事に、とにかく立ってるだけえらいなんで自分を甘やかしてはいる。それ自体は本当に大事(というか大前提)なので良いんだが、今後もちゃんと事業数値にコミットして、成果に繋げるためにやれることをやっていく。厳しい意見にも耳傾けていく。

直近のテーマ。

事業P/Lを開発マネージャーも見れるようにして、打ち手の筋を上げるのと、プロマネと同じものを見ることによって関係の質向上や連携強化を狙いたい。

生成AIへのキャッチアップ、RAGの実践は順調(思えば結構手を動かしていたな…)なので、いよいよプロダクトに組み込むステップにアクセルを踏みたい。道筋は見えている。

最後がコンテンツ。コンテンツ開発の DX をやる。これはめちゃくちゃ難しい。でもやらないといけない。

技術観点では SRE/Platform開発にプロダクトマネジメントを適用するということ、モノリスに関する方針を決定し、議論を進めはじめている。これもとっても難しい。当然僕1人ではできない。みんなの力を借りて少しずつ進めている。

技術の力で事業成長させていく。やるぞー。

趣味

観葉植物の熱が止まらないだけではなく、範囲を園芸まで広げ始めた。お花を買って寄せ植えを家の外に飾ったり、バジルやディルなど食べる系も育て始めた。こんなにハマるとは。趣味の園芸を毎月買っている。妻とも共通の趣味なので楽しい。

水泳はなかなか行けてない(なんか練習がある火曜に予定入りがち)なんだかど、9月にまた大会出ます。新しいクラブで初出場、リレーも出るので仲良くなれるといいなぁ。

(そういえば6月出たに1500m自由形は無事完泳しましたw)

あとはカメラ！細々続けてるといいことあるなぁ。嬉しい。今後もひと撮りの機会見つけては撮っていくぞー。

羽田空港ついた！おしまい