はてなブックマーク

システムプラットフォームチームの id:rskmm0chang です。9月に入社しました。 15年前にはてなのインフラ部でアルバイトをしておりまして、それ以来の入社となります。時の流れは早いですね。 この記事は、はてなのSREが毎月交代で書いているSRE連載の11月号です。10月の記事はid:s-shiroさんの既存のDeploy Preview環境をmirage-ecsに移行する - 設計編 -でした。 はてなでは、GitHub Actionsを多用しており、コスト削減などを期待し、Actions Runner Controllerを利用して、Self Hosted Runnerを使い始めています。 GitHub Actionsの中でdockerコマンドを使うようなジョブも多く、DinD*1の構成を取っていますが、その際に問題になるのがジョブ実行時のImageの取得です。各ジョブにおいて

はてなサマーインターン2024実行委員のid:cohalzです。 8月から9月にかけて「はてなサマーインターンシップ2024」を実施しました。本日、そのレポートサイトを公開しました！ hatena.co.jp 今年のインターンでは最初の一週間に京都オフィスに集まりオフラインで講義や課題をするというパートを設けました。 はてなのインターンといえばオフィスで集まってわいわいするのが楽しかったという感想を持ってくれる人も多く、今年はそれを一週間だけですが復活することができました。 ちなみに、京都オフィスは2022年に移転したため、新しいオフィスでオフラインのインターンを実施するのは今年が初となりました。 hatena.co.jp 講義資料 講義資料についても公開しました！ 講義「Web/HTTP/API」 by id:motemen Web技術の基本となる用語について解説しています。HTTPから

こんにちは。組織・基盤開発本部エンジニアリングマネージャーのid:daiksyです。 はてなでは、毎年夏にサマーインターンシップを開催しています。今年は京都オフィスでの講義パートと、リモートでのプロダクト開発実践パートとの2部構成での開催です。 hatena.co.jp ここでは、講義パートで実施した「チーム開発」講義の様子を紹介します。 講義の目的 はてなサマーインターンシップ2024では、インターン生は最終的にはてなで実際のプロダクトを開発しているチームに配属されます。そして配属先で、はてなブログなどの実際に運用中であるプロダクトの機能開発を体験します。 インターンシップ前半の講義パートは、後半のプロダクト開発にむけて、Webアプリケーションを開発するために必要なさまざまなことを学びます。以下のリストが今年の講義カリキュラムです。 講義「Web/HTTP/API」 講義「RDBMSブー

2024年10月14日（木）に、オンラインイベント 「生成AI×新規事業 の挑戦 〜生成AIを学びながら技術とチームを磨いた事業立ち上げの道のり〜」 を開催しました。ご参加いただいたみなさま、ありがとうございました。 このエントリーでは、当日のアーカイブ動画や公開資料をご紹介します。 イベントについて 発表概要と資料 開会の挨拶・toittaのご説明 / id:yigarashi 高性能な AI を使うだけじゃない！ 生成 AI を活用した toitta 切片分類機能の裏側 / id:pokutuna 生成AI×マルチテナントSaaSな新規事業を立ち上げる上でテックリードとして気を使った点の紹介 / id:lunastera 新規事業×生成 AI の不確実性を乗り越える開発プロセス / id:noy72 さいごに イベントについて はてなでは「新規事業チーム」が手掛けた企業向け新サービスと

マンガメディア第2チームでGigaViewerのWeb面のSREを担当している id:s-shiro です。 この記事は、はてなのSREが毎月交代で書いているSRE連載の10月号です。9月の記事はid:cohalzさんの新規事業「toitta」で導入したGoogle Cloudのセキュリティ機能の紹介でした。 リポジトリのブランチごとに、メインブランチにマージする前の動作確認に使える環境を起動することをPreview DeployやDeploy Previewと呼ぶらしいのですが(以下Deploy Preview)、マンガメディアチームではEC2で構築していたDeploy Preview環境を、メンテナンス性や使い勝手の観点からコンテナ化しようとしています。 はてな全体でみるとDeploy Preview環境の構成や要素技術は、歴史的な経緯もあり各サービスを開発するチームごとに異なっており

2024年10月15日（火）に、 Hatena Engineer Seminar #31 をオンライン開催しました。ご参加いただいたみなさま、ありがとうございました。 このエントリーでは、当日のアーカイブ動画や公開資料をご紹介します。 お詫び 当日のライブ配信では、トラブルにより一部映像が止まる・音声が聞き取りづらいなどの問題が発生し、配信を一時中断させていただきました。快適にウェビナーをご視聴いただくことができず、大変申し訳ございませんでした。スライドと音声がズレてしまっている箇所がございますので、アーカイブ動画をご視聴いただく際は、公開しているスライドとともに内容をご確認いただけますと幸いです。 お詫び Hatena Engineer Seminar #31 について 発表概要と資料 マルチテナントのサービスインフラに大きなテナントを受け入れるまで / id:koudenpa 10年続

システムプラットフォームチームで SRE をしている id:masayoshi です。 今年もISUCON14の開催が決定しましたね！ isucon.net ISUCONとはLINEヤフー株式会社が運営窓口となって開催している、お題となるWebサービスを決められたレギュレーションの中で限界まで高速化を図るチューニングバトルです ISUCONは、世の中に実際にありそうなWebサービスを題材に、明確なボトルネックがあるコードかつ全体のコード量もすぐ読める量なので、パフォーマンスチューニングの練習にはもってこいです。 適切なパフォーマンスチューニングをするためには、まず計測してシステム上のどこにボトルネックが存在してパフォーマンスが悪化しているのかを把握する必要があります。 このように、どこで、何が起こり、パフォーマンス上の問題やエラーがおこっているのかを把握できる能力を Observabili

AWSの東京リージョンでFargate Spotを「中断されたら困る」割合で利用している場合、2024年10月は見直し時かも知れません。 はてながECS Fargateで運用しているWebサービスの多くは、状況に応じてリクエスト数≒負荷が増減します。 これに対して、リクエストを受け持つECSサービスのタスク数をオートスケールさせてコスト最適化を図っています。 ボトルネックはCPUで、CPU使用率を追跡していることが多いでしょうか。 オートスケールで追跡する使用率にはスケールアウトまでの間の負荷に耐えるための余裕を持たせます。 この余裕の部分をSpotタスクで確保することで更にコストを削減できます。 AWS Fargate Spotの発表で示されているユースケースでは以下に該当します。 また高可用性を求められるウェブサイトやAPIサーバーのように、ECSサービスの一部となるタスクに対してもF

皆さん、AWS Fargate Spot使ってますか？　最近Arm向けもサポートされてより活用範囲が広がっているかと思います。 さて、Fargete SpotはFargateのコンピューティングリソースの状況次第でタスクが中断される代わりに、最大通常の7割引きでタスクを実行できる機能です。 とはいえ、できることなら中断はされたくないですよね。 ここに「ある1ヶ月のFargate Spotの中断回数のグラフ」があります*1。何となく中断具合に周期性がありそうですね。 グッとにらむとこうなりました。 明らかに日曜日近辺の中断回数が少ないです。 つまり？　中断されたくないタスクをFargate Spotで動かすには土日が狙い目です*2。 この記事は id:koudenpa が書きました。 オマケ Fargate Spotの中断回数はメトリクスとしては提供されていないため、Amazon ECS タ

こんにちは！システムプラットフォームチームのアプリケーションエンジニアのid:anatofuzです。最近は推しのスタンプラリーのために北海道の鶴居村にどうやっていこうかを考えています。 北海道といえば今週末にいよいよ YAPC::Hakodate 2024 が開催されますね！ yapcjapan.org 今回の YAPC は｢Open the future｣をテーマとしていますが、Perlは意外と最近は未来的な新機能がガンガン追加されていっていますね。 YAPC::Hakodateには私の他にも多くのはてなスタッフが一般参加者としてだけではなくトークへの登壇やコアスタッフ・当日スタッフとして参加します。また、はてなではゴールドスポンサーもさせていただきます。本エントリではスタッフからのコメントとともにこれらの紹介をさせていただきます。 本編のご紹介 「データマイグレーションの成功戦略：サー

toittaチームSREのid:cohalzです。 この記事は、はてなのSREが毎月交代で書いているSRE連載の9月号です。8月の記事はid:walnuts1018さんのはてなブログや GigaViewer で使われている画像変換プロキシを EC2 から EKS に移行しましたでした。 はてなでは2024年7月に生成AIを活用したtoittaというサービスをベータ版でリリースしました。現在正式リリースに向けて準備中で、無料トライアルも実施中です。 ja.toitta.com このサービスはビジネス向けのSaaSアプリケーションで、インフラはGoogle Cloud上に構築しています。 ユーザーの皆様に安心してサービスをお使いいただくために、どうやってセキュアなサービスにしていったのかを、toittaで利用しているGoogle Cloudのセキュリティ系のサービスと合わせて紹介していきます。

こんにちは！マンガアプリチームで、GigaViewer for Appsの開発をしています id:yutailang0119 です。 はてなのGigaViewer for Appsでは、2024年3月から「少年ジャンプ＋」のアプリ版を担当しています。 hatena.co.jp そんなGigaViewer for Apps、「少年ジャンプ＋」の開発についてをお話しする、はてなのモバイル開発大紹介！「少年ジャンプ＋のアプリ開発の裏側」を9/19 (木) に開催しました！ hatena.connpass.com イベントレポート 今回は各発表を紹介するイベントレポートです。 （※ 本イベントの録画公開予定はございません。） 挨拶&プロジェクト概要の紹介 id:kouki_dan id:daiksy イベントの始まりとして、「少年ジャンプ＋」アプリのGigaViewer for Apps開発テック

こんにちは、CTOの id:motemen です。 Hatena Developer Blogの連載企画「卒業生訪問インタビュー」では、創業からはてなの開発に関わってきた取締役の id:onishi、CTOの id:motemen、エンジニアリングマネージャーの id:onkが、いま会いたい元はてなスタッフを訪問してお話を伺っていきます。 id:motemenが担当する第11回のゲストは、サイボウズ株式会社でソフトウェアエンジニアとして活躍しているid:itchynyさんこと、濱田健さんです。 itchynyさんは、京都大学大学院工学研究科電子工学専攻修了後、はてなに入社。Mackerelチームやはてなブックマークチームでアプリケーションエンジニアとして活躍していただいていました。2021年にサイボウズ株式会社に転職し、Webアプリケーションエンジニアとして、kintoneの基盤チームで開

こんにちは、サービスプラットフォームチーム アルバイトの id:walnuts1018 です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の 8 月号です。7 月の記事は id:masayoshi さんの はてなで最近実施している SRE 研修の紹介 でした。 今回は、社内共用の画像変換プロキシである、「Scissors」というサービスを EC2 から EKS に移行したお話をしたいと思います。 画像変換プロキシについて 課題点 サービスプラットフォームチームにおける EKS やりたいこと 移行に関する懸念点 Scissors 専用の Node を用意する Pod / Node のオートスケール オートスケールの検証 負荷試験 1 回目 負荷試験 2 回目 リリース まとめ/ふりかえり 画像変換プロキシについて はてなでは「Scissors」という内製の画像変換プロ

システムプラットフォームチームで SRE をしている id:masayoshi です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の7月号です。先月は id:chaya2z さんの AWS ECS で実行するバッチ処理を Cluster Auto Scaling を使ってコスト最適化する でした。 今月は、社内で最近始めたSREへの研修についてお伝えします。 SREの研修 SREの研修は新卒入社のSREや、中途採用でインフラエンジニアやアプリケーションエンジニアからSREにジョブチェンジした方を対象に実施しています。 SREの研修は主に以下の2つに分かれます。 SREの原理原則やSLI/SLOに関する研修 インフラ構築、運用、CI/CD環境の構築に関する研修 基本的にはどちらも受けてもらうことになりますが、受講者の経験によってはどちらかだけになることもあります。 ま

こんにちは、CTO の id:motemen です。 はてなのエンジニア組織である技術グループでやっているポッドキャスト「Backyard Hatena」を更新しました。 「Backyard Hatena」は、株式会社はてなのメンバーの普段の様子や、サービス開発の裏側や技術、取り組みなどについて、CTO の id:motemen を中心としたメンバーがカジュアルにお届けするポッドキャストです。 spotifyanchor-web.app.link Backyard Hatena • A podcast on Spotify for Podcasters Anchor / Spotify / Google Podcasts / Apple Podcast で配信しています。お好みのプラットフォームから聞いていただけると嬉しいです。 今回のゲストは、Mackerelチーム SRE の id:h

システムプラットフォームチームで SRE をしている id:chaya2z です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の6月号です。先月は id:MysticDoll さんの Postfixのログ監視で注意すべきSMTPのステータス仕様について でした。 ECS で実行するバッチ処理を、インスタンス数を最適化する仕組みである ECS Cluster Auto Scaling を使ってコスト最適化した取り組みを紹介します。 ECS の起動タイプに EC2 を使う背景 はてなでは、ECS の起動タイプとして Fargate ではなく EC2 を使用しているサービスがあります。そのサービス例として、バッチ処理があります。バッチ処理のジョブには数秒・数分で終わるものもあれば、数時間かかるものがあります。 EC2 起動タイプを選ぶ理由は、タスク終了までのタイムアウト待

こんにちは、取締役の id:onishi です。 Hatena Developer Blogの連載企画「卒業生訪問インタビュー」では、創業からはてなの開発に関わってきた取締役の id:onishi、CTOの id:motemen、エンジニアリングマネージャーの id:onkが、いま会いたい元はてなスタッフを訪問してお話を伺っていきます。 id:onishiが担当する第10回のゲストは、「移動で地域をカラフルに」をミッションに、新たな地域交通の実現を通じて地域の潜在力を引き出すことを目指し、ライドシェア事業を運営しているnewmo株式会社（以下、newmo）でソフトウェアエンジニアとして活躍しているid:yaottiさんこと、海野弘成さんです。 yaottiさんは、京都大学で情報工学を専攻していた学生時代に、はてなのインターンシップに参加。その後も大学在学中にアルバイトとして2年間、さまざま

こんにちは。CTO の id:motemen です。 2024年6月27日（木）に Hatena Engineer Seminar #30 「チーム開発編」を開催しますので、お知らせします。 はてなのエンジニアリングマネージャーとエンジニアの計3名が「チーム開発」をテーマに、取り組みや学びについて発表します。 はてなではチーム開発についてさまざまな取り組みがあるにもかかわらず、まとまった紹介の機会を作れていませんでした。先日社内で開催した勉強会で発表され、大きく反響のあった内容をぜひ外部にも公開しよう、というきっかけで決まった今回のエンジニアセミナーでは、はてなのチーム開発の歴史から、4月に入社した新卒社員の暮らしと成長まで、幅広い内容をお届けできると思います！ 開催はオンラインです。（詳しくはconnpassのイベントページをご確認ください）。皆様のご参加をお待ちしております！ イベント

組織・基盤開発本部長の id:onishi です。募集締切が迫る「はてなサマーインターンシップ2024」ですが、応募するかまだ悩んでいるあなたのために、今年の見どころをいくつかご説明させていただきます。 京都で過ごす一週間 今年のインターンは、京都（講義パート／1週間）＋リモート（実践パート／2週間）のハイブリッド形式です。特に講義の集中している前半を京都で過ごすことで、インターン同期の仲間との絆を深めたり、対面で学ぶことで濃密な一週間を過ごしていただけます。 もちろん、交通費は支給、遠方の方にはホテル（5泊）を手配します。 リモートワークで会社がどう回っているか はてなは、「フレキシブルワークスタイル制度」で、在宅・出社を自由に選択できる、としています。これにより、オフィス出社率は10%程度となっています。では在宅中心で会社ってどのように回っているの？という疑問には、後半の実践パートで、

システムプラットフォームチーム SREのid:MysticDollです。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の5月号です。先月分は id:heleeen さんの Mackerel で行った障害対応演習を紹介します でした。 先月 Platform Engineering Meetup #8 にて 「はてなにおけるメール基盤とDMARC対応」というタイトルで登壇させて頂きました。 speakerdeck.com この記事では資料では紹介しきれなかった、メール送信基盤の監視で気をつけるべきSMTPのステータスの仕様とそれらを踏まえた監視方法について紹介します。 メールのステータス形式 SMTP Reply Code 1桁目 2桁目 3桁目 DSN 1つ目 2つ目 3つ目 Postfixのログからのエラーのメトリクス化 まとめ メールのステータス形式 SMTPにお

はてなで働くエンジニアにアンケートシリーズ第28回は、ノベルチームのAndroidアプリエンジニア、id:bps_tomoyaに話を聞きました。 はてなに知り合いがいた縁もあって応募 複数のサービスに目を配り、うまくさばいていく 一晩置くと昨日よりも良い解決方法を思い付く 一部の端末で発生した問題について素早く動くことができた一例 あまり知らない分野でも安心して飛び込める環境がある はてなに知り合いがいた縁もあって応募 ── Q1. はてなidとその由来を教えてください id:bps_tomoya です。ハンドルネームが「バトルプログラマー柴田智也（Battle Programmer Shibata Tomoya）」なので、それをもとにしています。一見すると中途半端な縮め方なのですが、あるアニメーション作品に由来していてこのようなIDになっています。 入社よりも以前に tomoya_shi

こんにちは、エンジニアリングマネージャーの id:onk です。 Hatena Developer Blogの連載企画「卒業生訪問インタビュー」では、創業からはてなの開発に関わってきた取締役の id:onishi、CTOの id:motemen、エンジニアリングマネージャーの id:onkが、いま会いたい元はてなスタッフを訪問してお話を伺っていきます。 id:onkが担当する第9回のゲストは、さくらインターネット株式会社の組織内研究所であるさくらインターネット研究所の上級研究員で、SRE （Site Reliability Engineering）の研究者としても活躍する id:y_uuki さんこと、坪内佑樹さんです。 2013年にはてなに新卒でWebオペレーションエンジニアとして入社後、サーバー監視サービス「Mackerel」をはじめとするサービス開発やはてなのインフラ開発・運用にSR

こんにちは、Mackerel チーム SRE の id:heleeen です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の4月号で、先月分は id:taxintt さんのサービスの一般公開前からSLI/SLOと向き合うです。 今回は、先日 Mackerel チームで行った障害対応演習で実施した内容と、どのような学びを得たかについて紹介します。 本番障害はできればなくしたいものですが、すべての障害を完全になくし可用性を100%にするのはとても困難です。そのため、障害が発生したときの影響範囲を小さくする仕組みを導入したり、ロールバックを素早く行えるようにしておくなど、影響を抑えるための取り組みが必要になります。 Mackerel では、その一環として、障害対応時のオペレーションの確認やバックアップからの復旧が行えるかの検証などの起きてしまった障害を素早く収束させたり、

こんにちは、CTO の id:motemen です。 はてなは今年も、学生を対象としたエンジニア向けの夏のインターンシップ、「はてなインターンシップ2024」を開催します。 今年も昨年に引き続き、8月後半〜9月前半にかけて3週間程度のプログラムを企画しています。今年はリモートとオフィスの両方を活用したハイブリッドの開催を検討しています。 昨年のインターンの様子はこちらをご覧ください。（昨年はリモート中心に行われました） はてなリモートインターンシップ2023 レポートサイト はてなインターンの特徴は、前半は講義、後半は実践と、「学び、そして作る」両方を体験してもらえることです。今回も、最高の夏を過ごしていただけるカリキュラムを準備中です。 前半はWebアプリケーション開発のオンライン講義と課題に取り組んでもらい、はてなのエンジニアスタッフによるコードレビューや面談でフィードバックを行います

Mackerel チームで SRE を担当している id:taxintt と申します。 はてなの SRE が毎月交代でブログ記事を書く Hatena Developer Blog の SRE 連載、3月分は私が担当します。2月の記事は id:masayosu さんの はてなにおけるEKSの運用と自動化 (2024年版) でした。 私が所属する Mackerel 開発チームでは、SaaS 型サーバー監視サービスである Mackerel を開発しています。 Mackerel は、テレメトリデータの計装・収集の標準化を目的としたプロジェクトである OpenTelemetry 対応のための開発を進めています。この記事では、OpenTelemetry のメトリックを扱うサブシステムの開発における SLI/SLO の決定・運用についてお話しします。 mackerel.io OpenTelemetry