タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Google Cloud Storage（GCS）でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記
皆さんこんにちは。 コンペで頑張ったので疲れました。 さて、Google Landmark 2021が終了し、Retrieval5位（金）、Recognition12位（銀）となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。 すると9/18に久々に請求額を確認すると32万ほどの請求額がありました。 さすがに目玉が飛び出て、調査にあたったといったものになります。 課金内容を確認したら原因はすぐにわかり、チームで対策を打ちました。（私が慌てて学習にスト
こんにちは、Google Cloud でプリセールスエンジニアをしている有賀です。 TL; DR表題に関して、いい感じの方法はありません 😥強いて言えば（VM なりサーバーレスサービスなりで作った）プロキシを使うことで実現できますロードバランサーへのアクセス自体も制限してよければ VPC Service Controls も選択肢に入ります目次問題定義Compute Engine、Cloud Run などをプロキシにした IAM アカウントベースのアクセス制限Cloud Storage 閲覧用サービスアカウントの作成Cloud Storage バケットとオブジェクトの用意ファイアウォール ルールでロードバランサーからの VM へのアクセスを許可gcsfuse を使う方法NGINX をプロキシとして使う方法gcs-proxy-cloud-run を使う方法Envoy Proxy を使う方法
Google BigQueryのデータをSQLコマンド「EXPORT DATA」で直接Google Cloud Storageにエクスポート出来るようになりました！ | DevelopersIO
Google BigQueryのデータをSQLコマンド「EXPORT DATA」で直接Google Cloud Storageにエクスポート出来るようになりました！ 先日(2020/10/16)のGCP/Google BigQueryのリリースノートにて、幾つかの興味深いトピックがありました。詳細については下記公式ブログをご参照ください。 その中で、外部ストレージに関する読み書き(Reading from and writing to external storage)に関するものも含まれていました。関連する文章を上記エントリから抜粋します。 BigQuery provides users the ability to read data in external storage buckets. The new SQL commands allow users to configure t
※この投稿は米国時間 2021 年 1 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。 リーダー選出とは、分散システム実装の際に一般的に適用されるパターンです。たとえば、MySQL などのレプリケートされたリレーショナル データベースや、Apache Zookeeper などの分散 Key-Value ストアは、レプリカの中からリーダー（マスターと呼ばれることもあります）を選出します。すべての書き込みオペレーションはリーダーを経由するため、システムに書き込みを行うのは常に 1 つのノードのみです。これは、書き込みが失われたり、データベースが破損したりしないようにするためです。 分散システムのノードの中からリーダーを選出するのは、ネットワーク接続されたシステムと時刻同期の性質により、難しい場合があります。この記事では、リーダー選出（一般的には「分散ロック」と
[新機能] Amazon Athena データソースコネクタを使ってGoogle Cloud Storageのライブデータにクエリしてみました！ | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。先日、Amazon AthenaのFederated Queryを経由してGCS(Google Cloud Storage)にアクセスできるデータソースコネクタが新たに追加されました。ザックリ言うと、AthenaからGCSのデータにアクセスできるようになったということです！ 本日は、AthenaからGCSへのクエリについて試してみます。 Amazon AthenaのGCSのデータソースコネクタが動作する環境 データソースコネクタの実態は、Lambda関数です。今回の動作検証では、以下のような非VPC環境を用意しています。 以降では、早速試したみたいと思います！ GCSの認証情報をSecrets Managerに作成 Google Cloudのサービスアカウントの秘密鍵を取得 事前にGCSにアクセスするためのGoogle Clo
![[新機能] Amazon Athena データソースコネクタを使ってGoogle Cloud Storageのライブデータにクエリしてみました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e74dfc28e3f87861a3abf7b0257ff46d1c1a0f04/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-athena.png)
Cloudflare Workers から HMAC 認証を使って Google Cloud Storage を fetch してキャッシュする - Qiita
はじめに バックエンドサーバーとして公開状態でないオブジェクトストレージを利用するケースで、 オリジンサーバーとして Google Cloud Storage のプライベートオブジェクトにアクセスできることを確認します。 Google Cloud Storage で HMAC アクセスキーを発行 HMAC アクセスキーの発行は、こちらを参考にしました。 GCSでHMACアクセスキーを発行 - Qiita Workers コード kyouheicf/private-access-to-gcs 上記のコードを使います。ポイントは以下の点です aws4fetch を使います。R2 向けのサンプルコードが参考になります。 aws4fetch · Cloudflare R2 docs mhart/aws4fetch: A compact AWS client for modern JS enviro
本記事はGCP(Google Cloud Platform) Advent Calendar 2022 2日目の記事です。 3日目: k8s × IAP @po3rin さん です。 TL;DR Edge Security PolicieでバックエンドバケットにもIP制限が可能に ただしGCSが公開状態だとそちらのURLにアクセスは出来てしまう 署名付きURLでプライベートなGCSでCLBからのアクセスが可能だが課題は残る はじめに クラウドを使っていても、社内向けシステムやテスト環境はインターネット上に公開したくないので、IP制限を掛けたいケースは良くありますよね？ GCPの場合、いくつか方法はありますがWebシステムの場合はCloud Load Balancing (CLB)とCloud Armorを組合わせてやるのが一般的だと思います。GCEに置いたシステムだろうとGKEだろうとCl
CSA Data UploaderがAmazon S3に加えてGoogle Cloud Storageへのファイルアップロードに対応しました！ #CSアナリティクス #データ統合基盤 | DevelopersIO
データアナリティクス事業本部のしんやです。 弊社クラスメソッドでは、複数のデータウェアハウス(Amazon Redshift、Google BigQuery、Snowflake)に対応するデータ統合基盤サービス「CSアナリティクス」を提供・展開しています。 このサービスでは現在、データ統合基盤としてデータの取り込みからテーブル作成やジョブ管理等を行うプロダクトの他に、オンプレ環境からクラウド環境へのデータアップロードをサポートする「CSA Data Uploader」というプロダクトを提供しています。 この度、今月(2020年09月)にリリースされた新しいバージョン「v1.8.0」で、従来可能だったAmazon S3へのデータアップロードの他に「Google Cloud Storgae(GCS)へのデータアップロードにも対応」したことをお知らせします。 当エントリでは、この新しい機能につい
クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にGoogle Cloud Storage(GCS)環境のファイルを指定する #データ統合基盤 #CSアナリティクス | DevelopersIO
当エントリは『クラスメソッド CSアナリティクス Advent Calendar 2020』5日目のエントリです。 クラスメソッド CSアナリティクス Advent Calendar 2020 - Qiita クラスメソッド CSアナリティクス Advent Calendar 2020 ｜ 特集カテゴリー ｜ Developers.IO ビッグデータ分析支援のカスタマーストーリーアナリティクス｜クラスメソッド｜クラスメソッドのサービス 当エントリでは、クラスメソッドが展開しているデータ統合基盤サービス『CSアナリティクス』(以降"CSA")のプロダクト群の1つ、『Data Uploader』の入力に、任意のGoogle Cloud Storage(GCS)環境下のテキストファイルを指定する手順について紹介します。 目次 Google Cloud Storage(GCS)の接続設定の準備 C
Google Cloud Storage にアップロードされたファイルに対するウイルスチェックを検証してみた - Sansan Tech Blog
こんにちは。技術本部 Bill One Engineering Unit の佐々木です。クラウド請求書受領サービスのBill Oneで、今後リリース予定の請求書発行に関する機能の開発を担当しています。 今回はBill Oneで使用しているファイルストレージ（Google Cloud Storage、以下GCS）にアップロードされたファイルに対して、マルウェアスキャンを実施してウイルスを発見した場合に通知する仕組みを検証した話をします。 導入の背景 SansanではPremiseとして「セキュリティと利便性を両立させる」を掲げ、セキュリティ向上に取り組んでいます。 Bill Oneにおいても、ここ数年、Emotetを始めとしたメール攻撃が流行していることや、メールでの請求書受領に対応していることから、サービス上にアップロードされたファイルに対するウイルスチェックの仕組みを検討してみることにし
BigQueryのテーブル作成実践(外部データソース参照: Google Cloud Storage) | DevelopersIO
Google BigQueryでは、テーブル作成を行う術が複数提供されています。当エントリではその中から「外部データソース参照」による作成方法について、Google Cloud Storageに格納したCSVデータを用いた実践を交えて見ていきたいと思います。 Cloud Storage からの CSV データの読み込み | BigQuery | Google Cloud 目次 コンソール経由で実践 CLIで実践(bq load) クライアントライブラリ(Python)で実践 まとめ コンソール経由で実践 今回の手順では、予めGCS(Google Cloud Storage)の所定のバケットにデータをアップロードしておきます。フォルダ毎取り込む形を想定していましたので、以下の形で複数ファイル用意しました。 テーブル作成メニューにて、「Google Cloud Storage」を選択。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloud Storage をロードバランサーのバックエンドにしつつ、直接はアクセスさせたくない場合
Google Cloud Storage にリーダー選出を実装 | Google Cloud 公式ブログ
Google Cloud Storage(GCS)上の画像やJSにIP制限をかける
4travel.jp
tonarinoyj.jp
www.techinferno.com
mona-news.com
www.techinferno.com
hiroshi-sekiyan.muragon.com