はじめに「家族アルバム みてね」（以下「みてね」）でエンジニアリングマネージャ（EM）をしているsobataroです。この記事では、みてねで作成・運用しているエンジニアリングラダーを公開します。 背景と目的エンジニアリングラダーを作成する背景と目的みてねでは、サービスのさらなる成長を目指し、組織強化に取り組んでいます。このサービスと組織の成長にあわせて、みてねの開発に携わるエンジニア個人の活躍と成長を後押しするため、みてね独自のエンジニアリングラダーを作ることとしました。このエンジニアリングラダーは、各等級のエンジニアに求められるスキル・マインド・行動を明示することで、エンジニア個人の成長に役立てるほか、直近で発生している以下のような課題の解決も目指しています。 キャリアプラン検討、育成、目標設定、人事評価の一連のサイクルが、各Engineering Manager（EM）の属人的なマネジ

株式会社MIXIで「家族アルバム みてね」（⁠以下みてね）のData Engineeringグループ所属の浜田と申します。 2020年3月からプレミアム機能の1つとして提供している「人物ごとのアルバム」機能について、アーキテクチャ面や名寄せ処理、機械学習技術の活用の観点から自動分類の仕組みをご紹介し、直近に実施した改善事例を紹介します。 人物ごとのアルバムとは 「人物ごとのアルバム」は、みてねにアップロードされた写真や動画をプログラムで判別し、お子さまごとに自動的に分類する機能です。お子さま個人だけでなく、「⁠子どもたち（兄弟や姉妹⁠）⁠」や「家族みんな」といったまとまりで表示することもできます。また、月齢ごとに成長メモを残すこともでき、簡単に成長を振り返ることのできる機能となっています。 図1 人物ごとのアルバム機能紹介 自動分類フロー さて、この「人物ごとのアルバム」機能をどのように実

なお上記の「大量配信」とは、「⁠1～3月分の四季版を4月15日から配信開始し、1週間で全家族に配信完了する」などのように、「⁠新しい期間の1秒動画をはじめて配信してから、その時点で条件を満たす全家族への配信が完了するまで」の期間を指します。1秒動画の生成・配信の大部分はこの大量配信期間に行っていることから、これを「大量配信」と呼んでいます。 生成⁠・配信の流れ 1秒動画の生成・配信は、図1のとおり(1)対象家族抽出、(2)素材選択、(3)動画エンコード、(4)配信、の4段階で実現しています。以下ではその詳細を説明します。 図1 1秒動画の生成・配信の流れ (1)対象家族抽出 1秒動画の生成・配信処理は、基本的にはバッチ処理として毎日実行しています。そのはじめに行うのは、「⁠その日、どの家族に、どのバージョン・どの期間の1秒動画を生成・配信するか」を取り出す対象家族抽出です。この処理は四季版

はじめに AIの発展に伴い、MLOpsに関する話題も盛んになってきています。ただ、ほとんどは本番環境用の話題で、開発環境整備についての話題が少ないように感じました。本番環境と違い、開発環境の整備はあまり重要視されてない場面も多いような気がしますが（Notebookで全部やってるなど）、研究開発環境も整ってないとすぐに深刻な状況になっていってしまうと思います。 そこで本記事では、開発環境整備の重要性と方法について書いてみようと思います。話題のKubeflow Pipelines（GCP AI-Platform Pipelines）、CloudTPU、TensorFlow等、これらの技術を使って環境構築を行なってきたのでその話をします。（互いに親和性が高く、やりたいことが十分に行えるため選定しました） 要約：現在の研究開発環境 これらの技術を使えば、簡単に以下のことができるようになります。 1

ご参加方法 以下URLよりご視聴いただけます。 https://youtu.be/pPRof5c-JQY 概要 「家族アルバム みてね」のエンジニアが、日々の業務の様子を、いつもどおりの開発メンバー同士の会話でご紹介するオンライントークイベントです。 今回の Data Engineering チーム編では、みてねの人気機能である「1秒動画」や「フォトブック自動提案」といった、みてねにおける自動提案・自動編集などのレコメンド機能のバックエンドを開発・運用する Data Engineering チームをご紹介します。 今回はとくに、お子さまごとに写真・動画を自動分類する「人物ごとのアルバム」機能にフォーカスし、機能の背景や開発の流れから、アーキテクチャ、利用する機械学習モデルなどについて幅広くお話します。 この自動分類 AI と人間とで、兄弟当てクイズ対決も行いますのでお楽しみに！ ◎こんなこ

ミクシィグループ Advent Calendar 2020 ２日目の記事になります。 概要 Twitterで画像を投稿したときに「いい感じのところを勝手に表示してくれる」ことに少し前に気づいた。 あれ、Twitterの画像投稿のサムネって、、、いい感じのところだけ表示されるようになってるのか？知らなかった。すごい pic.twitter.com/U7Aa5Y54ZE — 佐藤俊太郎 (@ushisantoasobu) September 26, 2020 どうやら結構前からの仕様のようで、それはそれで困っている人もいるようだが（例）、自分としては面白いなと思いつつ、WWDC 2019の"Understanding Images in Vision Framework"という動画に出てきた"Saliency"というものについて思い出し、いつか自分でもこういったことをやってみたいと思っていたの

これまで僕は締切がかなり厳しいプロジェクトを数回経験してきた。その経験から、締切が厳しいという特性を持ったプロジェクトの初期にまずこれだけはやったほうが良いということがいくつか見つかったので、今回はそれらを紹介していこうと思う。 前提となるプロジェクト 今回紹介する方法は、次のような特性を持ったプロジェクトを前提とする。 細かい仕様は決まっていないが、作るものの要件はある程度明確である アジャイルの定義におけるスコープ・コスト・品質・スケジュールの中で、スケジュールを特に優先したい(スケジュールを変えられないなど) 数ヶ月以上のプロジェクトである 短いスパンでリリースしてユーザーの様子を見てその後のプロダクトバックログの優先度を変えるような性質のプロジェクトでは、別のやり方を取る必要があると思う。そこは注意してほしい。 プロジェクト初期にやっておきたいことは何か 上記のようなプロジェクトの

メルカリで写真検索とEdge AIチームに所属している澁井（しぶい）です。機械学習のモデルを本番サービスに組み込むための設計やワークフローをパターンにして公開しました。 GithubでOSSとして公開しているので、興味ある方はぜひご笑覧ください！ PRやIssueも受け付けています。私の作ったパターン以外にも、有用なパターンやアンチパターンがあれば共有してみてください！ GitHub：https://github.com/mercari/ml-system-design-pattern GitHub Pages：https://mercari.github.io/ml-system-design-pattern/README_ja.html なぜ機械学習システムのデザインパターンが必要なのか 機械学習モデルが価値を発揮するためには本番サービスや社内システムで利用される必要があります。そのた

💁‍♂️ 5 7 5 完全リモートワーク、始まる 完全リモートワークに移行して2週間が経ちました。 私のチームはエンジニア5名という小さめのチームですが、割とうまく移行できている気がするので、振り返りを兼ねて取り組んだことなど書いてみたいと思います。 リモートワークは2週目以降が本番 リモートワークが始まって最初の1週間が終わり、2週目に入るとメンタルに変化が表れてくる気がしています。 最初の1週間は出社しなくていいという環境の変化に感動してハイになっていたのが、コミュニケーション量・質の低下によるストレスと、いつ終わるか知れない閉塞感にげんなりする感じでしょうか。 なので、リモートワークのポイントを最初の1週間と2週目以降で分けて書いてみます。 最初の1週間はとにかく環境を整える リモートワークが始まってすぐ気が付くのは、オフィスと自宅の環境の違いです。 例えば、椅子が悪くて腰が痛くな

以前から自宅で練習がてら作りたいwebアプリがあって、慣れたやり方で作った後、vue.jsを導入してみるとか、pythonで作り直してみるとかそういうことをしようと画策していた。それでメモがてらevernoteに構成書いていって、そろそろやるかと思って自宅のMacを取り出す。 ひとまず「いつものスタイル」みたいなのを用意してからじゃないと、新しいことを学び始めると心が折れると思ったので、MacでできるLravel+Dockerらくらくセットみたいなのをネットから拾ってきたのよ。こういうのは本当にらくらくで、「最初のページ」をブラウザで開くまではらくらくそのものなわけ。 さてブラウザでapache確認したし、まずはDBから取り掛かるかと、シコシコとmigration(コマンド一発でDBができる)を書いた。あらかた書けたのでコマンドオンってするとエラーで通らない。色々調べて2時間ぐらい経って解

ふと思い出したので。 就活サイトの運営に携わっていたとき、多くの知人に就活や仕事の話を聞いたのですが、ベンチャーに入社した知人の多く（およそ8割）が3年以内に辞めており、ちょっと驚きました。 で。長く働いたあとの退職だと円満な感じで終わることが多いと思いますけど、3年以内だとその理由が実に種々雑多で面白かったので、気侭に列挙していきたいと思います（随時、追記するかも） しかし、追加するたびに「周りに多いなぁ。3年離職」と思います。苦笑。 ※最終更新：2024/08/09 ※あくまで「3年以内にベンチャー企業を退職した知人に理由を尋ねた結果」をまとめただけです。ベンチャーによくある退職理由、大手にはないベンチャーならではの理由をまとめた記事ではありません。 1. 周りの社員が想像以上にモチベーションが低かった 2. 昇進の可能性が（まず）ない 3. 1年たって成長が止まった 4. 自分だけ損

ポエムです。パッと勢いで書くので反論の余地があるかと思います。 あと何にやりがいを感じるかも多分かなり人それぞれだとは思います。 経緯 最近あらためて思うのが、よほど高度な技術を使っていない限りWeb系企業におけるエンジニアってあくまで守の存在なんですよね。プロダクトのやりたいことを妨げないために堅実にしっかりと物を動くものを作っていく。ただしそれは必要条件でしかなくて、事業が駄目なら成功しない— きりみんさん(きりみんちゃんのマネージャー) (@kirimin) November 6, 2019 エンジニアがどこまで仕様に口を出せるかは組織の体制や規模にもよるけど、やはり事業開発においてエンジニア一人がプロダクトの成功に与えられる影響力はあまりにも小さい。失敗に与えられる影響力は大きいけど🤭— きりみんさん(きりみんちゃんのマネージャー) (@kirimin) November 6,

こんにちは、CTO歴も丸9年以上になりました @makoga です。 Podcastや勉強会で話をしたときに好評だったので、今回は私が面接時に見ているポイントを書きます。 ※この文章の元ネタは2016年1月に社内に公開したものです。 面接時に見ているポイント 3行まとめ 事実と意見を分けて説明できるか 実際の課題を解決しようとしているか 技術をどう理解しているか この文章の目的 30分から1時間の面接で一緒に働きたいかを判断するのは難しいことです。私も経験を積んで学んできました。 まだ経験が浅い面接官に私が実践していることを伝えることでVOYAGE GROUP全体の判断の精度を上げていくのが目的です。 事実と意見を分けて説明できるか 圧倒的にこれは重要。これができない人はかなり厳しい。 関わったプロジェクトのなかで、自身が一番活躍できたと思うプロジェクトについて聞く 学生の場合は1人で個人

さて、１週間くらい前のニュースですがAlibabaがOracleのデータベースを抜いて世界1位の座を獲得しました。 itnews.org 世界一位って何よ？ って所なのですが TPC-C - All Results - Sorted by Performance の結果みたいです。 まあ「Oracleのデータが10年前の11gなので今のExadata X8Mとは比べ物にならない程性能が低いであろうこと」「HPEとかも虎の子のNonStop SQL出してない」「レギュレーションの問題なのかやる気の問題なのかAWS AuroraもGCP Spannerも居ない」という事もあって、最速のRDBランキングとしての妥当性に疑問はありますが、これはランキングが悪いのであってAlibabaを貶めるものでは無いでしょう。誇大広告感は狙ったと思いますがw ベンチマーク結果としては以下のように、2位のOrac

2019年7月6日、株式会社サイバーエージェントが主催するイベント「Battle Conference U30」が開催されました。30歳以下のエンジニアによる30歳以下のエンジニアのための技術カンファレンスである本イベントには、さまざまな領域で活躍する若手が登壇。企業の枠を超えて、自身の技術・事業・キャリアに関する知見を発表しました。「モンスターストライクのリアルタイム通信を支える技術 」に登壇したのは、株式会社ミクシィ・神谷元太氏。登壇資料はこちら モンストの大まかな構成と「STUN/TURN」 神谷元太氏：それでは「モンスターストライクのリアルタイム通信を支える技術」というタイトルで発表させていただきます。よろしくお願いします。 (会場拍手） まず最初に軽く自己紹介をさせていただきたいと思います。2018年に株式会社ミクシィに新卒入社をしました。開発本部CTO室SREグループの神谷と言

こんにちは！井上恭輔(@kyoro353)です。表題の通り、この2019年7月末を以って株式会社デプロイゲートを離れることになりました。 私の状況が少し特殊なのは、自分自身がDeployGateを開発し、立ち上げた創業メンバーの1人であるという事でしょうか。このエントリーは今までDeployGateの開発以来7年近くの長きに渡りお世話になったチームメンバーや、助けていただいた周りの多くの皆様へのご報告と、感謝をお伝えするためのものです。 いわゆる「退職エントリー」となりますので、興味のある方だけお付き合い頂ければ幸いです。（そして長いですｗ） デプロイゲート誕生前夜 せっかくの機会ですし、デプロイゲートの人間として今後話す機会も無いと思いますので、今日は少し昔話をさせて頂ければ幸いです。 この写真は今から約7年前の2012年9月10日、DeployGateのリリース日の「DeployGat

2018年4月にミクシィグループに入社して1年。社会人としても成長を始めた新卒入社スタッフの軌跡を、シリーズでお伝えしていきます。どんな経験を積み重ね、この1年を歩んできたのか。そして、その先に見えてきた夢や目標は？リアルな“1年目”の声をお届けします。 15回目は、開発本部CTO室の神谷。SREとしての仕事に邁進する日々は、大規模サービスを扱うプレッシャーも大きいかと思いきや「好きなことが成果として認められる仕事」と笑顔で言います。エンジニアとしてより高みを目指す、そんな入社1年目の日常に迫りました。 国内最大規模のサービスに新卒で携われる贅沢さ ────プログラミングを始めたのは、小学生のころだそうですね。 小学校高学年のころに、パソコンを貰ったんです。その頃、小学校の授業で「パソコンで遊ぼう」みたいな授業があったので、Webサイトを作ろう、とHTMLを独学で学びました。それで、ゲーム

ヤフー時代の部下から突然メッセンジャーが。 「以前宮坂さんが緊急対応時に残して頂いた言葉を今度セミナーで使っていいですか？」 と。 リーダーの仕事はいっぱいあるけどなかでも大きな仕事の一つは重大事故の発生の時の陣頭指揮。平時は部下で回せるようにするのがマネジメントだけど、危機の時まで部下にまかせるわけにはいかない。 お恥ずかしながらヤフー在職中の22年で何度か重大事故を起こし関係者の人に多大な迷惑をかけてしまった。その度にその陣頭指揮をとった。 結果的にヤフーのなかでもっとも深刻な事故対策をやった人の一人じゃなかろうか。そのなかからノウハウ的なものがたまってきたものを部下にメモしておくってあげたものを彼は覚えていてくれたらしい。 彼いわく危機対応の時にすっごく役にたって指針になったといってくれて送ってくれた。 ひょっとしたら他の人にも参考になるかとおもって（若干訂正してますが）ここに残して