クラスメソッドのAWS総合支援 コスト最適化からセキュリティ、構築支援、運用保守まで、AWS活用を支援します。

あけましておめでとうございます！ 今年は異世界放浪メシのアニメが放送されるらしいので楽しみなバックエンドの原田 (tomtwinkle)です。 内部で運用しているSQLレビューチェックリストの一部を抽出し思いつきで追記して行った結果、結構な分量になってしまいました。 暇な時でも流し読みして頂けるとありがたいです。 Motivation SQLレビュー観点 大きくSQLが変更される修正の際にはEXPLAINをレビュー内容に加える 検索のキーにINDEXを使用しているか SQL発行回数がN+1(1+N)の構造になっていないか サブクエリを利用したSQLはパフォーマンス要チェック Viewの利用は基本的に禁止 CROSS JOINは禁止 WHERE句で十分に絞った検索をしているか 必要なcolumnだけSELECTしているか レコード数だけ必要な場合にCOUNT用のSQLを発行しているか 集計関

今朝に発表された Terraform Cloud のアップデートで OpenID Connect を利用した認証情報の取得に対応したようです。Dynamic Provider Credentials という名前で紹介されています。 GitHub Actions ではほぼ OIDC のみを使うようになりましたが、一番強い権限が必要な Terraform Cloud で使えなかったのが悩みの一つでした。GitHub Actions と Azure AD を組み合わせて利用する方法は以前に書いているので、以下の記事を参照してください。 Terraform Cloud を Azure Provider で利用する場合には期限付きの Client Secret を作成する必要があったので、Client Secret 自体の管理が必要になるというデメリットがかなり大きかったです。まだベータ扱いですが、

皆さんは、MySQLであのオプション何だったっけかなぁ？って思った時、何をするでしょうか？ ちょっと前の話になってしまいますが、Oracle社公式のMySQL 8.0 リファレンスマニュアルが日本語化されたので、こちらを見る人が多いのかと思いますが、さまざまな先人の知識を得るために、Googleなどの検索エンジンで検索をする場合もあるかもしれません。 ネットワークがつながっている場合はそういう対応もできますが、ネットワークにつながっていない場所で、MySQLのバイナリがあるのに検索ができないなんて事が起こるかもしれません。そんな時に知っておくと、ちょっと役に立つかもしれないHELP構文に関して紹介していこうと思います。 検証環境 今回はdockerで建てたMySQLを使用します。以下のコマンドでdockerを建てて、ローカルからアクセスをします。 % docker run --platfo

0.はじめに この記事は私が機械学習で利用する環境のdocker imageを共有するために書きました。 機械学習をしたいけど環境構築が難しくてできないという方の役に立てば幸いです。 深層学習フレーム pytorch データフレーム操作 pandas polars cudf Dockerfileなどはgithub(kaggle_pytorch_docker)に公開しています。 1. Preparation 機械学習用の環境を構築するためにまずdockerをインストールしてください。 dockerを利用できる環境の作り方がわからないという方はNVIDIA Dockerって今どうなってるの？を参考にしてください。 2. Build Image 1.を基にdocker環境が構築できましたら、機械学習用のdocker imageをビルドしましょう！ 以下のコマンドを実行してください。 $ git

概要 マイクロソフトが提供する衛星画像より推定した建物地図の入手方法について紹介します。 Building Footprints by Microsoft 建物地図の提供状況((C)Microsoft) 建物地図データは、こちらより確認できますのでご参考ください。 また、Google Colaboratoryのサンプルコードをこちらにアップしましたので、あわせてご参考ください。最後に、衛星画像に重畳した建物地図の例を紹介しています。 1.建物地図情報の入手 今回は、pythonでよく用いる行例モジュールであるpandasと同じ形式の位置情報データを扱うgeopandasを使います。geopandasを含めた位置データの使い方については、以下のサイトが網羅的にまとめれていますので、是非こちらをご参考ください。 【PythonでGIS】GeoPandasまとめ PythonでのShapefil

LIFULL に新卒入社し、もうすぐ4年目になるヒラノです。 普段はセキュリティエンジニアとして、セキュリティ/テスト自動化に関する推進、支援などを中心に取り組んでいます。 15日目の記事 では Dastardly を GitHub 上で動かしていましたが、今回はローカル（WSL2）上で動かしてみようと思います。 What is Dastardly? Dastardly は、無料で利用できる CI/CD パイプライン用の Web アプリケーションセキュリティ診断ツールです。 開発元は Burp Suite でおなじみの PortSwigger で、重要な7つの脆弱性に関して10分以内で見つけることができます。 Cross-site scripting (XSS) (reflected) Cross-origin resource sharing (CORS) issues Vulnerab

tl;dr; environment を三項演算子でいい感じにする モチベーション TerraformのワークフローをGitHub Actionsで動かしてるんだけど、terraform apply した時（具体的にはmainブランチか手動でのbuild実行時 *1 ）のみ environment をセットしてDeployments *2に通知したかった。（ terraform plan （Terraformのdry run）ではDeploymentsには通知したくない） 実装例 こんな感じ。 environment: ${{ ((github.ref == 'refs/heads/main' || github.event_name == 'workflow_dispatch') && 'terraform-apply') || '' }} github.com 分かりづらいんですが t

TL;DR こちらのリポジトリを参考にしてください -> https://github.com/nekoshita/gcp-cloud-nat-example こんな人向け Cloud NAT について知りたい＆使ってみたい GCPのVPCとかsubnetとかFirewallとかよくわかんない terraformでGCPさわりたい Cloud NAT について Cloud NAT とは NATを提供してくれるGoogleのマネージドサービスです 外部IPアドレスを持たないVMインスタンスや限定公開のGKEクラスタからインターネットへアクセスできるようになります Cloud NAT のメリット 個々のVMに外部IPアドレスを割り振る必要がなくなるのでよりセキュアになる 分散マネージドサービスなのでプロジェクト内のVMや単一の物理ゲートウェイデバイスには依存しない NATのIPアドレスを自動で

TL;DR こちらのリポジトリを参考にしてください -> https://github.com/nekoshita/gcp-vm-instance-in-subnet-example こんな人向け GCPのVPCとかsubnetとかFirewallとかよくわかんない GCPで踏み台サーバー立てたい AWSと全然違うからよくわかんない terraformでGCPさわりたい 解説 ネットワークとサブネット まずは新しいVPCネットワークを定義します。 （VPCネットワークについて: https://cloud.google.com/vpc/docs/vpc?hl=ja ） GCPプロジェクトを作成すると、デフォルトのVPCネットワークが作成されますが、こちらは公開設定されているので使いません。 VPCネットワークはグローバルリソースなので、リージョンやゾーンは指定しません。 resource

こんにちは、DMP(Data Management Platform)グループの平井です。毎日デコポンを食べています。美味しい。 タイトルの通り、BigQuery Remote FunctionsからCloud Functions 2nd genを呼び出す際にハマったポイントがあったので共有します。 今回のケース Remote Functionsとは ハマりポイント再現 Cloud Functions 2nd genとは Cloud Functions 2nd genをデプロイ BigQuery Connections作成 Remote Funcitonを作成 権限付与 まとめ 今回のケース まずどのような場面でRemote Functionsを使用したのか説明します。 レアジョブグループには新旧2つのデータ基盤があります。 順次移行作業を進めており、その中でRを利用した集計処理を新しいデ

はじめに こんにちは、CX事業本部MAD事業部の森茂です。 本エントリーはクラスメソッドGoogle Cloud Advent Calendar 2021の18日目の記事です。 本記事の執筆でGoogle Cloudデビューしました。 みなさんもojichatをもっと手軽に利用できないかという相談をうけることがよくあるかと思います。 今回はそういったご要望に応える方法のひとつとして、Google Cloudの仮想マシンを作成できるサービスであるGoogle Cloud Compute Engine（以下GCE）をTerraformで構築し、手軽にコンソールのSSHターミナルからojichatを実行できる環境を構築してみました。 環境構築 Terraformを使って環境を構築するには事前の準備が必要になります。下記ツールのインストールとGoogle Cloudで利用できるプロジェクトを管理コ

TerraformでGCE環境を構築した際の手順です。(Terraformは予めインストールしておいてください） サービスアカウントの用意 TerraformでGCE環境構築する際に使用するサービスアカウントを用意します。 サービスアカウントを用意したらJSON形式で鍵を作成してください。 また、インスタンスを立てる際、サービスアカウントにインスタンスを立てる権限がないと権限エラーでひっかかります。 公式ドキュメント(https://cloud.google.com/compute/docs/access/iam?hl=ja#the_serviceaccountuser_role)によるとCompute インスタンス管理者（v1） とサービスアカウントユーザーの2つの権限が必要になるのでIAMから付与してあげてください。 .tfファイルを用意 サービスアカウントが用意できたら、.tfファイ

はじめに 発表や論文に載せる用のグラフはきれいに作らなければならなく、手軽に使えるエクセルよりは、Ngraphやgnuplotなどのソフトを使うことが多いと思います。 しかし、Pythonユーザーにはぜひmatplotlibを使用してグラフを作成してほしいと思います。 実際にエクセルで何も考えずに作ったグラフと、本記事の設定でPythonのmatplotlibライブラリを使用して作成したグラフを以下に示します。 とはいってもmatoplotlib 論文で検索するとある程度の解説しているページが出てきます。 そのため、本記事では以下を中心にまとめてみます。 色々調べてたどり着いたよく使うグラフの設定一覧 グラフのサイズ・比率について きれいに見える軸の設定方法 保存について 全般のグラフの見た目の設定 matplotlibのデフォルトの見た目も悪くないですが、論文用にグラフの見た目を一括で変

●価格：3190円（税込）●ISBN：9784296201129●発行日：2022年12月19日●著者名：赤石雅典 著●発行元：日経BP●ページ数：408ページ●判型：A5変 身近なデータをPythonで分析できるようになるための知識を、最短コースで身に付けられる本です。Pythonのホントの基本から、データ分析に必要なPythonライブラリの使い方、データ分析の実践例までを一気に学べます。プログラミングの経験がない方もこの1冊を読めば、実際のデータ分析を始められます。 ベストセラーの『最短コースでわかる ディープラーニングの数学』『Pythonで儲かるAIをつくる』などを執筆した著者が送るデータ分析＆AI書籍の第4弾。いつもの平易な解説で、初学者も安心して学べます。 本書は次のような方に最適です。 （1）プログラミング言語自体を知らないが、データ分析のためにこれから勉強したいという方 （

メモ 以前取得したAWSの資格「クラウドプラクティショナー」に続き「ソリューションアーキテクトアソシエイト(SAA-C03)」取得を目指して勉強中！ いつも何か勉強するときは基本的に書きながら覚えるのでここでアウトプットします。 有益な情報かどうかは不明(笑) リージョンとアベイラビリティゾーン リージョンとアベイラビリティゾーン リージョンは、AWSがサービスを提供している拠点(国と地域)のことを指す。 リージョン同士はそれぞれ地理的に離れた場所に配置されている。 リージョン内には複数のAZが含まれ、1つのAZは複数のデータセンターから構成されている。 AZの地理的・電源的独立による信頼性の向上 それぞれのAZは、地理的・電源的に独立した場所に配置されている。 落雷や洪水、大雨などの災害によるAZへの局所的な障害に対して別のAZに影響されない。 AZは数十キロ離れて配置されている。 各A

はじめに 下図のようなイラストの塗り残しを塗る処理がペイントソフトでは一発で出来なさそうだったので、Python と OpenCV で実装してみます。例えばアクリルキーホルダーなどの白版を入稿する場合、塗り残しがあると品質に影響が出る危険性があるため、しっかりと処理していきます。 入力画像 これは意図的に作成した画像ですが、線画と塗りの境界に塗り残しがあり、背景の緑色が透けてしまっていることが分かります。 （※分かりやすいように背景を緑色にしています。） アルゴリズムの説明 画像のアルファ値が 10以下の領域を $\boldsymbol{A}$、画像のアルファ値が 10 より大きく254以下の領域を $\boldsymbol{B}$ とします。このとき領域 $\boldsymbol{A}$ は本来透過しているべき領域であるとみなすことができます。一方、領域 $\boldsymbol{B}$