こんにちは、Platform Team の荒引 (@a_bicky) です。前回は続・何でも屋になっている SRE 的なチームから責務を分離するまでの道のり 〜新設チームでオンコール体制を構築するまで〜という話を書いたんですが、今回は Repro の運用に 7 年以上携わる中で私が遭遇して印象的だった Aurora MySQL 絡みのトラブルについて紹介します。 Aurora MySQL が詰まってデータ処理のスループットが下がるとか、API のレスポンスが遅くなるとか、ALTER TABLE する度にアプリケーションエラーが発生するとか、胃が痛くなる胸が熱くなる話が多いので、Aurora MySQL を利用していなくても楽しんでいただけるのではないかと思います。Aurora MySQL を利用している方であれば参考になる情報もあるでしょうし、通常の MySQL にも適用可能な話もあります

生成AIはIT運用にどう使えばいいのか？　現実的な「30％効率化」の方法とは：コードの自動生成だけではない 基幹系など重要度の高いITシステムには24時間365日の運用が必要だが、人材不足やIT環境の複雑化といった理由から手作業での管理、運用は困難な状況だ。日本アイ・ビー・エムはこの課題に対し、生成AIと自動化のソリューションを提案する。 現在の日本企業において少子高齢化、人口減少が中長期的な課題となっている。IT業界も例外ではない。新しい人材が入ってこないだけでなく、人材の流出も激しくなっており、自社システムの維持すら困難な企業もある。また、自社システムを管理していた有識者が高齢化し、知見やノウハウを引き継ぐ前に退職してしまうといった課題もある。 別の視点では、技術の進化のスピードにエンジニアが追随できなくなっているという課題もある。日常の運用業務に追われ、新たなスキルを身に付ける時間を

2024/06/21-22に開催された「スクラムフェス大阪」で発表した資料です https://www.scrumosaka.org/

23卒でバックエンドエンジニアをしているたかしゅんです。（@1341Shun） 先日、株式会社サイバーエージェントAI事業本部の2024年度 エンジニア新卒研修でシステム運用に関する講義を行いました。 そこで話した内容とスライドを完全公開したので、内容について解説します。 90分の内容のため、かなり長いですが、個人的にぜひ一読して欲しい内容になっています。 実際の資料はこちらになります↓ 自己紹介 こんにちは、たかしゅんと言います。2023年度入社で今年で２年目になります。 入社して最初に広告プロダクトに配属し、PipeCDの導入などのDevOps業務を中心に行なっておりました。 記事もあるのでもしよろしければ、ご覧ください。 2月中旬から移動し、新規立ち上げのインフラ環境の構築からCI/CDの整備などに取り組み、リリースを行いました。 業務外では来年開催の「SRE Kaigi」のコアスタ

はじめに 先日、taxin_ttさんからダイレクトメッセージで、「オブザーバビリティ再入門」というイベントで登壇し、イベントのテーマが「再入門」ということで、オブザーバビリティについて改めて基本的な概念から説明するようにとの依頼をいただきました。 mackerelio.connpass.com 「再入門」というテーマを聞いたとき、正直なところ少し悩みました。オブザーバビリティは近年注目を集めているトピックであり、既に多くの人が資料を作って登壇されており参加者も基本的な知識を持っているはずです()。そんな中で、「再入門」として何を話せばよいのか、どのようにアプローチすればよいのか、考えを巡らせました。 再読だけが創造的な読書術である (単行本) 作者:永田　希筑摩書房Amazon そこで、私は「可観測性とは」「可観測性と監視の違い」「可観測性の導入と抵抗」の3つのトピックを中心に話すことにし

技術部プラットフォームグループ 2021年 中途入社 2 自己紹介 渡部 龍一 Watanabe Ryuichi • SNS: @ryuichi_1208 • GMOペパボでSRE • 好きなこと: EOL対応、障害対応

Timee × Commune データチーム勉強会より

イベント名: オブザーバビリティ再入門 - 大切さと高め方を知ろう！ イベントURL: https://mackerelio.connpass.com/event/316449/ 概要: 可観測性の概念を理解し、OpenTelemetryなどの実装に必要な道具があっても、自分たちのプロダクトやチーム…

政府は公的年金に上乗せする私的年金のiDeCo（個人型確定拠出年金、イデコ）について、掛け金の上限引き上げを打ち出す。運用次第で老後の所得を増やせる仕組みを拡充し、岸田文雄政権が掲げる資産運用立国の実現につなげる。政府は6月にまとめる経済財政運営と改革の基本方針（骨太の方針）に上限引き上げの検討を明記する。自民党金融調査会が政府への提言で「年末にかけて議論される年金改革の中でイデコについては加

こんにちは、プロダクトマネージャー（PM）のいかりです。 今回の記事では、プロダクトに対しての社内からの不具合報告のフローを改善した話について紹介します。 「社内からプロダクト改善のために色々な声をもらっているけどどう対応しよう……」と困っているような方は何かの参考になるかもしれないので、ぜひ読んでみてください！ プロダクトを安心して使ってもらうための「不具合対応」 社内からの不具合報告の既存の課題 【改善】Slackのワークフローを使って不具合報告フォームを制作 結果、良くなったところ 社内の多くの人に不具合報告フローの存在を周知できた 数ヶ月で50件近くのバグ報告があり、1〜2割はその週に解決 連絡の往復回数が減った 後からのキャッチアップがしやすくなった まとめ プロダクトを安心して使ってもらうための「不具合対応」 プロダクトの成長のためには新しい機能の提供や操作性を良くしたり、とい

どういうこと？/TL;DR AWS → Cloudflareに移行したら費用が99%削減できました。 対象読者 今CloudFront + S3で構築しているけど転送量に困っている人 Cloudflare R2を検討している人 (CloudFrontとCloudflareをよく間違える人) はじめに 元々、動画CDNの構築はCloudFront + S3で構築していました。 この構成の場合、課金ポイントは主に三つあります。 CloudFrontのアクセス数に対する課金: そこそこ(多量ではない) S3の保管に対する課金: 200GB程度 CloudFrontの転送量(Egress)に対しての課金: 数TB そのため、毎回イベントごとにかなり費用がかかる状態でした。 動画の数もアクセス数もそこそこではあったのですが、動画特有の転送量が非常に多い… そういった状態でした。 導入前夜 この時はち

3月12日火曜日に始まったPublickeyへのDDoS攻撃に対して、これまでサーバの強化、Cloudflareの導入とDDoS対策のための設定を行ってきました。 その結果、3月24日日曜日の夜に始まり3月27日水曜日の朝まで3日間連続で続いたDDoS攻撃のあいだもWebサイトの閲覧と記事更新などを問題なく行える状態となり、DDoS攻撃がWebサイトの運営の大きな障害ではなくなりました。 ちなみにそれ以後DDoS攻撃は止んでいますが、今後はいつDDoS攻撃を受けてもWebサイトの運営に支障がでることはなくなったと考えられます。この記事では結局どのような対策を行ったのか、実際に効果を発揮したDDoS対策を紹介していきます。 これまでの経緯は下記の記事をご参照ください。 Publickeyが受けたDoS攻撃、これまでの経緯と対策まとめ 続、Publickeyが受けたDoS攻撃、これまでの経緯と

こんにちは。エンジニアリンググループの武井です。 私は現在、デジカルチームに所属し、クラウド電子カルテ、エムスリーデジカルの開発に携わっています。 昨年夏にエムスリーに入社し、早くも半年が経過しました。 digikar.co.jp この記事では、私が入社してから4ヶ月目に取り組んだ、バッチ処理の運用改善について振り返ります。 特に、新しくチームに加わったメンバーとして意識した点に焦点を当ててみたいと思います。 これから新しいチームに参加する方の参考になれば幸いです。 改善したバッチ 現状の正確な理解 現状に馴染む技術選定 自分なりの+αを加える 改善の結果 We're hiring 改善したバッチ 今回の改善対象は、特定の医療機関に紐づく全患者の全カルテをPDFファイルとして出力する、というバッチです。 デジカルのデータを医療機関側にエクスポートする用途で使われています。 移行前のアーキテ

基幹系システムのような社内システムにおいても、オープンソースソフトウエア（OSS）の利用が当たり前になってきた。クラウドサービスを利用する場合や、開発担当者と運用担当者が連携する開発手法DevOpsを採用する場合など、OSSの利用を避けられない。 多くの企業でOSSの利用が進む中、OSSを採用した当初は想定していなかった誤算に直面するケースが浮上している。商用のソフトウエアに比べてサポート期間が短かったり、サポートが充実していないため脆弱性が見つかっても放置してしまったりといった課題だ。ユーザー企業は安易に導入コストだけを見てOSSを採用するのは禁物だ。その後の長期間の運用・保守も含めた体制の検討が求められる。 「OSSの採用がここ数年で周辺システムから基幹系に広がった。その結果、ユーザー企業からは長期間、同じバージョンのソフトウエアを使いたいという要望が増えている」。OSSのデータベース

シードデータで動作確認して大丈夫だったのに、本番反映してみたら想定してなかった挙動・エラーが出た😱そんな経験はありませんか。 恥ずかしながら私は今までに何回もありました。機能開発だけじゃなくバッチやマイグレーションなんかでも発生しがちなコレ。またはシードデータで動作確認できても、本番データでも通用するか検証ができないままプルリクを作る、なんていうこともあると思います。今回はこちらを無くす試みをしたお話です。 「もう本番DBで開発しちゃえばいいじゃない」の問題点 この課題を解決するには、極論すると本番DBで開発するしかないのですが、そうなると言うまでもなく以下の問題が出てきます。 レビュー通過してないコードが本番に影響を与える トライ＆エラーができない 個人情報をはじめとするセンシティブな情報が開発者の端末に漏れる データ量が多すぎてローカルに持ってこれない しかし言い換えると、これらをク

ビジネスの重要指標をモニターするために、ダッシュボードを作ったものの、時間の経過と共に、誰にも見られなくなってしまう、といった経験はありませんか？ そうなってしまう理由の1つに、そこから得られる情報がビジネスの改善に結びつかない、あるいは特定のアクションに結びつかないため、ダッシュボードの閲覧者にとってあえて見る必要がなくなってしまうことがあります。 そこで、ダッシュボードの閲覧者に役立つ効果的なダッシュボードを作成するうえで、おさえるべき4つのポイントを紹介いたします。 1. モニターすべきは遅行指標でなく先行指標です 「売上」、「閲覧数」、「サインアップ数」などの「後追い指標」をモニターしても、それらは既に起こった「結果」なので、もうすでにとき遅しです。つまり、望む結果を得るために行動を変えることができません。 そこでしっかりとモニターしなくてはいけないのが、「リピート率」、「エンゲー

PHPカンファレンス関西2024での発表資料です https://fortee.jp/phpcon-kansai2024/proposal/42712995-5f3e-4c68-a951-39584eac95a1

「今後、COBOL技術者の減少は明らかだ。このタイミングで刷新できなければ機会を逸してしまう」。こう話すのは、伊藤忠食品の波元英夫情報システム本部本部長だ。酒類・食品卸売業などを手掛ける同社は富士通製汎用機の撤廃を目指し、汎用機で稼働しているCOBOLアプリケーションをJavaなどに刷新中だ。 汎用機では、主に会計・営業・物流といったシステムが稼働している。伊藤忠食品は、刷新プロジェクトの第1弾として、2023年8月に会計システムのマイグレーションを完了した。2026年春に残りのシステムを更新し、汎用機の撤廃を狙う。 機能変更が少ない会計システムから移行 伊藤忠食品に汎用機が導入されたのは1969年5月に遡る。以後、社内の技術者が中心となって更改や改修を重ねてきた。しかしCOBOL技術者の減少により改修・運用が困難になることや、運用コストが高いことなどから「2012年あたりから脱COBOL