はてなブックマーク

以下の記事のメモ。 https://cloudplatform.googleblog.com/2017/07/help-keep-your-Google-Cloud-service-account-keys-safe.html GCPは堅牢なサービスアカウントの鍵管理機能を提供している。それは認可された適切なエンティティのみが稼働中のGCPリソースにアクセスできるようにする。 アプリ全体がGCP上で稼働している場合、サービスアカウントの鍵管理はGCP側で自動で鍵ローテーションなどを行ってくれるため容易である。しかし多くのアプリは様々な環境で実行されているので、鍵を安全に管理することが必要である。 GCPの外にあるサービスアカウントを保護する サービスアカウントを作成する時、最小権限の規則に従っているか確認する。これはGCP外に置く置かないに関わらず全てのケースで有効な手段である。 サービス

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 下記のメモ。図は下記URLのものを引用。 https://medium.com/google-cloud/the-12-components-of-google-bigquery-c2b49829a7c7 BigQueryの主要なコンポーネントについて顧客視点（利用者視点）からまとめている。 以下は顧客視点でのBigQueryの構成概要 #Serverless Service Model BigQueryはサーバレスモデルで、VMやCPU/RAMのサイジングをする必要がない。BigQueryの計算能力はすごい伸縮性があり、数秒で数万コア

クエリのライフサイクルは以下の３ステージからなる。 Stage1　データソースからの挿入 ユーザはtabledata.insertAllメソッドでBigQueryにストリーミングインサートを送信。このインサートは認可情報などをヘッダに加えてJSONフォーマットで送られる。 1つのinsertAll呼び出しは1つもしくは複数のレコードが含まれている。 batch factorとして、いくつの行が1つのinsertAll呼び出しに含まれているか参照することができる。 インサートは、Streaming Workerによって受信し、処理され、insertAllペイロードの各レコードをストリーミングバッファに保存するために必要な呼び出しを行う。 workerはinsertAllリクエストの成功/失敗のレポートを行い、ペイロードはより詳細な個々のレコードのステータスを含む。 insert worker

以下のメモ。図なども以下のサイトから引用。 https://cloud.google.com/solutions/prep-container-engine-for-prod?hl=ja#communicating_within_the_same_cluster プロジェクト、ネットワーク、クラスタの構成 以下の構成がベストな構成。 本番環境用とテスト開発環境用のプロジェクトは分けて、本番環境は厳密なポリシーを設定する。 デフォルトネットワークを使うのではなく、自分でネットワークを作成し、管理しているIPアドレスにマップした方がよい。 FirewallルールはGKEノードへのIngressとEgressのトラフィックをフィルタするためにネットワークに適用される。 デフォルトではGKEノードに対する全てのインターネットトラフィックは拒否される。 サブネットワークは複数のゾーンを跨げるが、リー

#概要 GCPでは以下３つの暗号化ソリューションを提供しており、今回は暗号化キーの作成や管理をクラウドベースで行うことができるサービスであるCloud KMSを使ってみる。（Encryption by defaultは利用者が気にしなくてもGCP側で勝手に暗号化してくれる） 引用：https://cloudplatform-jp.googleblog.com/2017/01/managing-encryption-keys-in-the-cloud-introducing-Google-Cloud-Key-Management-Service.html Cloud KMS API を利用することで介すことで、秘密管理やエンベロープ暗号化ソリューションの一部として、キーの作成、使用、ローテーション、破棄を可能にしている。 #鍵の作成 手順1. KeyRing名とlocationを設定 Key

GCP Next17でビッグデータと機械学習系のサービスに便利な機能が多く追加されたりしてるので、まずは気になったものをメモ程度に記載しておく。 元ネタは以下 https://cloud.google.com/blog/big-data/2017/03/google-cloud-platform-adds-new-tools-for-easy-data-preparation-and-integration Google Cloud Dataprep データを前処理するためのマネージド・サービス。データの前処理はデータ分析するために必須で重要な機能なので、とても気になるサービス。Daterepには以下の特徴がある。 https://cloud.google.com/dataprep/ 自動検知：値がスキーマにあってるかどうか自動で検知する ドラッグ＆ドロップ開発：直感的な操作を提供している

Digdagのワークフロー定義で直接BigQueryを操作できるようになっていたので試してみた。 実行環境：GCP　CloudShell digdag version: 0.9.5 digdagのインストール手順は省略： 今回試したのはBigQueryのあるテーブルをAvroフォーマットでGCSに格納する例。 BigQueryやGCSにアクセスするためには個人のアカウントやサービスアカウントを利用するが、処理の自動化を行う際はサービスアカウントを作るのが妥当。 サービスアカウントを作成し、鍵をjson形式でファイル出力する。このファイルをjson.keyとしてCloudShell上に配置。 DigdagのワークフローからGCPにアクセスするためには、Secrets情報としてgcp.credentialを設定する必要がある。 Digdagは秘密情報（パスワードや鍵など）をセキュアに管理するた

目的変数:予測したい情報 説明変数：予測に使う情報 モデル：説明変数と目的変数を結ぶ”箱”（数式やプログラム） 目的変数の方に応じて問題の種類が変わる - 目的変数が数値型　⇒　回帰問題　（ex.売上予測） - 目的変数がID型　⇒　分類問題（ex.クリック予測（クリックする or しない）） 目的変数の有無に応じて機械学習は以下の２種類にわけられる - 目的変数がある：教師あり学習　　：　正解があって機械学習モデルで求める - 目的変数がない：教師なし学習　：　データからパターンを見つけたい。 教師あり学習-回帰- 以下において、線形回帰分析（linear regression）以外は非線形回帰分析（nonlinear regression）。 線形回帰では線形パラメータが必要だが、非線形回帰では必要ない。線形パラメータとの関係を適切にモデル化できない場合は、線形回帰ではなく非線形回帰を

Spark SQLではDataFrameと呼ばれる抽象的なデータ構造（RDBのテーブルのように行と名前とデータ型が付与された列の概念を持つデータ構造）を用いる。DataFrameはRDD、HIVEテーブル、他のデータソース（ファイルなど）から生成できる。 -DataFrameによる操作 -テーブル形式のデータセットに対してクエリを発行 http://spark.apache.org/docs/latest/sql-programming-guide.html https://spark.apache.org/docs/1.5.2/api/python/pyspark.sql.html SparkSQLサンプルアプリの実行 Spark入門の６章に記載されているプログラムをScalaではなくPython3を使って書き直す。 csv形式のデザートメニュー（メニューID、メニューの名前、値段、カロ

以下のサイトがオリジナルであり、実際に実行しながら試した際のメモである。 http://docs.docker.com/userguide/dockerimages/ これまでは Docker のイメージを Docker ホストにダウンロードする方法であったが、もし対象となるイメージがホストに存在していなければ、レジストリからダウンロードする。(デフォルトのレジストリは、Docker Hub の公開レポジトリ) 1. ホスト上のイメージの一覧 ローカルホスト上で持っているイメージの一覧を docker images コマンドを利用して取得する。 $ docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE ubuntu 14.04 63e3c10217b8 5 days ago 188.3 MB training/webapp l

Kubernetesではmedataのidentifyのためにラベルが使用されるが、任意のIdentifyしてないmetadataに対しても利用することができる。ラベルのようにKey/Valueで使用する。ビルド/リリース/イメージの情報やログ、モニタリングのポインタなどに利用されることを想定。

画像分類器にどう学習させるかについて、TensorFlow for Poets使用して作業する。 TensorFlow for Poetsはハイレベルのコードで分類器に学習させるために基本的に２つのスクリプトを実行すればよいだけであり、そしてパワフルな分類器である。 TensorFlow for Poetsで画像分類器に学習させるためにすることは１つ、学習データを供給すればよいだけである。 今回のゴールは5種の花を区別する分類器を作ること。 ##学習データの準備 既に花の学習画像データが用意されているのでダウンロードする。 % cd $HOME % mkdir tf_files % cd tf_files % curl -O http://download.tensorflow.org/example_images/flower_photos.tgz % tar xzf flower_ph

BigQueryを運用していると、どのユーザがどれだけコストを使用しているのか知りたいことがある。 そこで、その方法について以下のページに記載されているので実際に試してみる。 https://cloud.google.com/bigquery/audit-logs Cloud Audit Loggingを有効にする Cloud Audit LoggingはGCPによって提供される使用率のログを収集する。BigQueryのAuditログは"Administrative Activity"と”Data Access”のログから構成されている。 GCPコンソールでLogsViewerからExportを選択し、出力先のBigQuery Datasetを指定する。これにより、AuditLogがBigQueryに出力されるようになる。 AuditLogに対してクエリを実行し、ユーザ毎の使用コストを算出

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

既存のアプリケーションをコンテナ化する際、GitHubからプログラムをクローンするケースがある。このとき、Dockerfileにアカウント名、クレデンシャル/Tokenを記載してしまうとセキュリティ的に問題がある。 これを回避するために、DockerEngine1.9から実装されたbuild-time argumentsの機能を用いる。build-time argumentsを利用することにより、Dockerfileのビルド時にパラメータを設定することができる。 Dockerfile ・・・ # Deploy application ARG GITHUB_ACCOUNT ARG GITHUB_CREDENTIAL RUN git clone -b develop https://$GITHUB_ACCOUNT:[email protected]/XXXX/YYYY/

図などは公式サイトから引用 https://docs.digdag.io/architecture.html Digdagとは Digdagは複雑なパイプラインのタスクを実行、スケジュール、モニタリングするためのツール。依存関係などをハンドルすることができる。 DigdagはDAG(Directed Acyclic Graphs)を使用することにより、cronの置き換えや、ITオペレーションの自動化、データ分析のバッチジョブ、機械学習のパイプラインなどにマッチしている。 https://www.digdag.io/ Digdagのアーキテクチャ ワークフロー自動化 ワークフローによりいくつかのマニュアルオペレーションを自動化することができる。ワークフローとしていくつかのタスクを定義し、Digdagはこれを実行する。タスクはoperatorプラグインを使用することで定義され、workflow

BigQueryは高速で安価なデータ分析サービスとして有用であり、BigQueryにデータをロードするツールとして、Embulkはとても相性がよい。 データをロードする際、取り込んではいけないデータや不必要なデータは落としてからロードする必要があるケースがある。 例えば以下のjsonでuserIdを取り除いてデータロードするケースについて記載する。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? サービスアカウントは個人ではなくアプリケーションやVMに属する特別なアカウント。サービスアカウントは0以上のサービスアカウントのキーペアを持ち、Googleの認証に使用する。 サービスアカウントを使用する時、以下の点を明確にしておく必要がある。 どのリソースにアクセスできるようにすべきか どのパーミッションが必要か どこでそのコードは実行されるのか。（GCP or オンプレなど） サービスアカウントの特徴の一つとして、サービスアカウントをリソースやIdentityとして扱うことができる。 サービスアカウントをIdentityとして扱う時

オリジナルは以下のサイトです。訳しながら実際に試したメモになります。 https://docs.docker.com/userguide/dockervolumes/ 本章では、どのようにDockerコンテナ間やコンテナ内のデータを管理するかについて記載する。Docker 上のデータ管理として「データボリューム」と「データボリュームコンテナ」の２つがある。 確認作業を行った際のDockerのバージョンは以下のとおりです。 # docker version Client: Version: 1.8.0 API version: 1.20 Go version: go1.4.2 Git commit: 0d03096 Built: Tue Aug 11 16:43:14 UTC 2015 OS/Arch: linux/amd64 Server: Version: 1.8.0 API versi