大量の機器からサーバーやネットワークに対して多数のリクエストを送信するなどして、サービスを利用できなくする分散型サービス妨害攻撃(DDoS攻撃)の発生件数は過去数年間で指数関数的に増加しています。2022年8月19日、Googleは去る6月1日に大規模なDDoS攻撃を受けていたものの、同社の保護サービス「Cloud Armor」がピーク時毎秒4600万回のリクエストを阻止していたことを明らかにしました。 How Google Cloud blocked largest Layer 7 DDoS attack yet, 46 million rps | Google Cloud Blog https://cloud.google.com/blog/products/identity-security/how-google-cloud-blocked-largest-layer-7-ddos-

こんにちは、堤＠スリーシェイクです。 本日は、現時点（2021年6月17日）では英語でも日本語でもそれほど情報がないGoogleが開発したSIEM（Security Information and Event Management）製品である「Chronicle」に関して、お伝えしていきたいと思います。 Chronicleの特徴 データ容量やサーバ台数に依存しない課金モデルGoogleのインフラをフル活用した驚異的な検索速度と相関的なログ分析シンプルな検索UI 一般的なSIEM製品の課金モデルは、「1日で処理できるデータ容量」や「サーバー台数」を採用している製品が多い。しかし、これはスケールに影響を及ぼす課金体系となっている。ビジネスが拡大していくことで、収集されるログはどんどん増えていく。ライセンス上限に達したときに、ライセンスを上位のものに変更したり、はたまたライセンスの範囲内で分析す

はじめまして、モノタロウでGCPの管理をしている吉本です。 今回はモノタロウの社内全体でデータ基盤として使っているGCPをテーマに、大規模組織におけるクラウド運用の取り組みをお話します。 データ民主化による現場主導のデータ活用 クラウドの利用拡大に伴う課題 Cloud Asset Inventoryを利用したセキュリティガードレールの構築 まとめ データ民主化による現場主導のデータ活用 最近、データの活用・推進が様々な企業で実施されるようになってきました。 特に2018年あたりからデータ民主化と呼ばれる、職種に問わず自らデータを集計・分析して意思決定をする文化が広まるようになった結果、非エンジニアがSQLを書く事例が増えています。*1 *2 モノタロウでも職種問わずデータドリブンな意思決定を推進しています。 2017年にデータ基盤をBigQueryに構築して以降、積極的にSQLなどの研修な

前職に帰属する文書ではあるが、自分が書いたものを振り返りながら以下に時系列順にまとめておこうと思う。 アスタミューゼ社では、開発やデザインに関する社内勉強会を週1で持ち回りで昔から行っており、この内容を外に出すだけでも多少プレゼンスが上がるのになぁ、、、じゃあ、やってみようか、ということで始めたのが所謂エンジニアブログでした。 主導したこともあり、記念すべき一発目のエントリを書かせてもらったのですが、メンバー間で色々と検討しながら作ったエンジニアブログなので、そのプロセスやノウハウをせっかくなので出してみようと、1回目からあまりエンジニアリングに関係のない内容になってしまったのも良い思い出w オンプレ (本番) と AWS (ステージング) で動いていたデータやサービス環境を、GCP に移していくことになるのですが、夜間にほとんど働いていないステージング環境のサーバは止めてしまえばいいんじ

フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 BigQuery の IAM ロールと権限 このドキュメントでは、BigQuery の Identity and Access Management（IAM）のロールと権限について説明します。IAM を使用すると、特定の BigQuery リソースに対するアクセス権をきめ細かく設定し、他のリソースへのアクセスを防ぐことができます。IAM を使用すると、最小権限のセキュリティ原則を適用できます。この原則では、必要以上に多くの権限を付与しないことが規定されています。 プリンシパル（ユーザー、グループ、またはサービス アカウント）が Google Cloud API を呼び出す場合、そのプリンシパルにはリソースを使用するための適切な IAM 権限が必要です。プリンシパルに必要な権限を付与するに

Google Cloudの主要サービスが10時間ものあいだ障害発生。原因は分散アクセスコントロールへの大量の変更要求が引き起こしたメモリ不足 Google Cloudは、米国太平洋時間の3月26日木曜日16時50分（日本時間27日金曜日 午前8時50分）頃から約10時間ほどのあいだ、Google Compute EngineやCloud Storage、Cloud SQLなどをはじめとする主要なサービスで障害を起こしていました。 受けた影響はリージョンごとに異なりますが、ほぼすべてのリージョンで何らかの影響を受けたようです。 Googleはその原因についての調査結果を発表。原因はGoogle Cloud内部でアクセスコントロールを司る部分に障害が発生したことだったと説明しました。 アイデンティティマネジメントへの大量の更新要求がキャッシュサーバの障害に クラウド内部では、APIへのアクセス

私個人の話なのですが. 最近は仕事でAWSやGCPのサーバレスアーキテクチャにふれる機会が増えた*1と同時に, 自分が気になる世の中のニュース（グルメとかいろいろ）だけをいい感じに集めてまとめて読みたい その中でも特に⚾, 速報とかいい感じに通知させたい という怠け者欲ライフハック欲が高まってきたので, GCP（とちょっとしたPythonスクリプト）でSlack Botを作りました. 趣味開発で雑にはじめた結果, 三日程度でできちゃった*2のでその知見をメモ代わりに残します. おしながき おしながき TL;DR 対象読者 作ったもの GCPをフル活用して実質三日でBotをローンチした Bot本体の開発 GCPの何を使うかで試行錯誤 プランA「GCEを使う」 プランB「Cloud Run + Cloud Scheduler」 採用した構成「Cloud Functions + Cloud Sc

昨年終わり頃に、タイトル通り、会社でどのように Google Cloud Platform を活用しているかというインタビューを受けまして、一昨日公開されていました。 事例紹介という形で、ざっくりとした内容にはなっていますが、会社の事業に対して、どう Google のクラウドサービスを活用しているのかを、テックリードの @yukung と一緒に話した内容を、端的にまとめていただていますので、一事例として参考にしていただければ幸いです。 ( PDFファイル: https://lp.cloudplatformonline.com/rs/808-GJW-314/images/Google_GCP_astamuse.pdf ) 尚、取材の中で話していた、膨大なデータの翻訳処理に、GPUサーバを100台並べて並列処理しているという話ですが、結論から言うと、色々ありまして理論上の見積もりであった2週間

アスタミューゼ株式会社：2 億件近い非正規データを BigQuery で高速分析。コンサルティング事業 SaaS 化も視野に 所有する豊富なデータとノウハウを用いて顧客の技術・資産評価や、それに基づく新規事業の提案などを行うアスタミューゼ株式会社。まさにデータが命とも言える同社が、そのデータ分析基盤を Google Cloud Platform（GCP）に移行したのはなぜなのか？　その理由と、GCP 導入によって拓けた新たな可能性について、同社のキーパーソンに語っていただきました。 利用している Google Cloud Platform サービス：BigQuery、Compute Engine など BigQuery の導入でデータ分析速度が 200 ～ 300 倍に「今から約 4 年前、私がアスタミューゼに参加した時、そのデータ分析基盤は、データセンター内のオンプレミス環境上に構築され

はじめに AWSのネットワーク構成 GCPのネットワーク構成 AWS と GCP 間での通信 VPN設定手順 TGWを用いたルーティングの設定 (AWS) Shared VPC の設定 (GCP) Terraform まとめ はじめに こんにちは。DR & MLOps Group というところで働いている阿部といいます。Data Reliability & Machine Learning Operations の略で、データ基盤やML基盤を作って運用するグループです。 私はもともとは記事配信ロジックやデータ分析をやっているグループにいましたが、今年移ってきました。 こちらが紹介記事です: DREの使命とは？「数が神より正しい」と言うための正確性を求められる技術力 – Gunosiru 弊社のシステムは基本的にはAWSで動いていますが、とあるプロジェクトでGCPを使うことになりました。 そ

Googleのパワーを強く感じられるセッション。さすがでございました。そのセッションのメモでございます。 福田 潔 氏 Google Cloud Japan Customer Engineer GKE = Google kubernetes Engine 他のクラウドと比べてGoogleが勝っている点3つ ビッグデータ関連での利用 ML/AIでの利用 コンテナの利用 kubecon 2017 keynote => 「kubectl is the new ssh...」 kubernetesの世界では、低レイヤを気にしなくてよくなる kubectlは、これからのエンジニア全員が覚えるべきコマンドである なぜkubernetesが注目されるのか VM => コンテナ => コンテナオーケストレータ アプリケーションのコンテナ化が進んでいる モダンアプリケーションのインフラとして コンテナオーケ

デジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。

Google、最新海底ケーブル「FASTER」を計画中の東京リージョンに接続。Google Cloud PlatformやGoogle Appsで活用すると明らかに 6月30日に稼働を開始したばかりの、太平洋を横断して日米間をつなぐ最新の海底ケーブル「FASTER」はトータルで毎秒60テラビットもの帯域を実現し、三重県と千葉県の2カ所で国内ネットワークと接続することで災害などによる障害に対する冗長化も果たしています。 このFASTERはGoogle、KDDI、Singtel、中国移動、中国電信など6社のコンソーシアムによるもので、Googleは6分の1である毎秒10テラビットを利用可能。 Googleはこの新しい帯域を、Google AppsとGoogle Cloud Platformのユーザーをサポートするために利用すると、ブログ「Google Cloud Platform Blog:

クラウドとビッグデータを使い、高度の管理社会を作り平和な日常を作れるのか？高齢者は戦争の矛盾を知り、苦労と親孝行をして来た。世を儚む時間もカネもないのです。政治にカネがかかるのは当然。しかし政治家が結果責任を負わず、貧乏と言う境遇を無視してはいけない。いまのPCは金の成木になってしまった。これが技術者のあり方なのか? 返信削除

想定の50倍ものトラフィックが発生したPokémon Go。基盤となったのはGoogle CloudのCloud DatastoreとGoogle Container Engine Googleは9月29日付のブログ「Bringing Pokémon GO to life on Google Cloud」で、Pokémon GoのインフラとしてGoogle Cloudが使われており、サービス開始後に想定の50倍ものトラフィックが押し寄せてきたことを紹介しています。 下記のグラフのオレンジ色の線が当初の想定（Original Launch Target）、赤い線が想定していた最悪のケース（Estimated Worst Case）です。しかし現実にやってきたトラフィックは緑路の線（Actual Traffic）でした。 当初の想定よりも5倍余裕を持って最悪のケースを想定していたところに、実際

Featured Evernote 사업 거점을 유럽으로 이전하였습니다 2023년 6월 23일, 저희는 Evernote 직원들에게 업무 대부분을 모회사인 Bending Spoons의 본거지 유럽으로 이전할 것을 발표했습니다. 업무의 효율성을 높이고 유럽에서 매우 강력한 Bending Spoons이라는 고용주 브랜드를 최대한 활용하기 위해 이러한 결정을 내리게 됐습니다.… 자세히 알아보기 Featured Evernote 가격 변경과 예정된 개선 사항에 관한 최신 정보 예정된 가격 변경, 성능과 안정성 개선, 흥미로운 새 기능에 관해 소개하는 제품 책임자Federico Simionato의 요약 보고서 자세히 알아보기

「私たちはGoogle Cloud Platformがあなたのデータベースワークロードにとってベストなパブリッククラウドとなる努力を続けていくことを約束します」―8月16日（米国時間⁠）⁠、Googleは同社のパブリッククラウド「Google Cloud Platform（GCP⁠）⁠」が提供するデータベース関連サービスでいくつかの重要なアップデートを行いました。今回はそれらの発表内容を紹介しながら、Googleのパブリッククラウド戦略について検証してみたいと思います。 Advancing enterprise database workloads on Google Cloud Platform : Google Cloud Platform Blog MySQLインスタンスの「Cloud SQL」などがGAに 16日のリリース内容は大きく2つに分かれています。ひとつはこれまでベータ提供

こんにちは。並河(@namikawa)です。 このブログは持ち回り制にしているのですが、前回分でメンバーが一通り書き終えましたので、今日から2巡目になります。早いなぁ。 幸いにしてエキサイティングな毎日なので、ブログに書くようなネタはたくさんある(真顔)のですが、一緒に開発・デザインしてくれるメンバーが早くたくさん来てほしいと思う今日この頃です。 さて、今回の私のエントリは、タイトルの通り、弊社で持っているサービス群のステージング環境のシステムコストの削減を進めている話をします。 ・・・本当は、弊社オフィスのある銀座近郊の美味しいラーメン屋を紹介するエントリとか書きたいんですけど、技術ブログという名目でありながら前回のエントリも技術っぽくない内容だったのと、おまえ会社のブログで何書いてるんだと上から怒られそうなので、ちゃんと真面目に(技術の話を)書こうかな、とw (冗談です。怒られません。

今回発表されたのは、オレゴンに米国西リージョン、東京に東アジアリージョンという2つのリージョンが新たにGoogle Cloud Platformに追加される予定であることです。それぞれのリージョンは複数のゾーンを備え、高可用性を備えているとのこと。 本番運用は今年後半ですが、1カ月以内に東アジアリージョンのベータ公開を開始する予定で、ベータ希望者向けアンケートに答えると、準備ができ次第通知してくれるとのこと。 また、この2カ所を皮切りにグローバルで10以上のリージョンを、今年から2017年を通じて追加していくとのことです。 エンタープライズ向けのクラウドに本気で取り組むか Googleは現時点で、米国に2カ所、欧州に1カ所、そしてアジアには台湾の1カ所の、合計4カ所でGoogle Cloud Platformのリージョンを展開しています。 これが2017年末には10リージョンが追加されて現