■ はじめに 登録は必要だが、 無料枠でも結構勉強できるIT技術の学習サイトをまとめる ■ 主なサイト 【１】ドットインストール 【２】paiza（パイザ） 【３】Progate（プロゲート） 【４】Aidemy（アイデミー） 【５】Codexa（コデクサ） 【６】Schoo（スク…

■ はじめに 色々なAWSサービスをセキュアに使うために必要な AWS Key Management Service (KMS) について、メモ。 目次 【１】AWSの鍵管理サービス 【２】KMS（Key Management Service） １）主な機能 ２）キーのタイプ 【３】使用上の注意 【４】キーの作成…

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/28/021109 https://dk521123.hatenablog.com/entry/2020/01/02/000000 https://dk521123.hatenablog.com/entry/2019/11/25/235219 で、Hive の環境設定を行った。 今回は、HiveQL の Hello World …

■ はじめに https://dk521123.hatenablog.com/entry/2018/10/14/113600 の続き。だいぶ前に挫折した Unity。 携帯ゲームだけでなく、VRのインターフェイスでも使えるので 勉強を徐々に再開してみた で、以下の動画は無料枠でUnity の基礎が学べる。 今回は、…

■ はじめに Amazon Redshift について、徐々にメモっていく 目次 【１】Amazon Redshift 【２】特徴 【３】メリット・デメリット １）メリット ２）デメリット 【４】他DB・サービスとの違い 【５】Redshift の システム構成 １）Redshiftクラスタ ２）シス…

■ はじめに Amazon EMR について、徐々にメモっていく 目次 【１】Amazon EMR (Elastic MapReduce) 【２】EMRのアーキテクチャ １）マスタノード ２）コアノード ３）タスクノード 注意点 【３】分散処理基盤としてのEMR １）EMRFS (EMR File System) 【４】…

■ はじめに AWS CodeBuild で管理されるDocker イメージのPython バージョンは 固定されている。（以下の公式サイトを参照） https://docs.aws.amazon.com/ja_jp/codebuild/latest/userguide/build-env-ref-available.html しかし、Python2.X系の開発 や Doc…

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/31/231636 で取り上げたパラメータストア / Secrets Managerを CodeBuild 上で使う 公式サイト https://docs.aws.amazon.com/ja_jp/codebuild/latest/userguide/build-spec-ref.html#build-spec-r…

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/07/000000 の続き、 今回は、AWS CodeBuild で flake8 を組み込む。 ■ 注意点 flake8 は、規約違反があった場合に、Exit code = 1 を返す。 AWS CodeBuildに組み込んだ場合、 一件でも規約違反が…

■ はじめに https://docs.python.org/ja/3/tutorial/venv.html#managing-packages-with-pip で「12章 仮想環境とパッケージ」の 仮想環境があいまいだったので、まとめる 資格「Python 3 エンジニア認定基礎試験」の出題範囲にもなっている。 ■ 導入 Python…

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/09/001342 で触れた egg / wheel について、 実際に Hello world的なことをやる。 後日談 当初は、EGGファイルだけの記事だけだったが https://docs.aws.amazon.com/ja_jp/glue/latest/dg/add-job…

■ はじめに PostgreSQLへの更新処理に関する単体試験のエビデンスとして、 CSV出力したいなっと思って調べてみたことをメモ。 目次 案１：COPYコマンドを利用する 案２：-cオプション + SELECT文 を利用する 番外編：DBクライアントソフトを使う ■ 案１：COP…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/24/000000 で扱ったPython コードのチェックするための flake8 はコマンドベースで起動できるらしい。 以下の関連記事で扱ったCodeBuild https://dk521123.hatenablog.com/entry/2020/01/21/22112…

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/16/205331 の続き。 boto3 AWS Glue API のトラブル の長くなったので、分冊。 目次 【１】create_Job()で例外「AccessDeniedException」が発生する 【２】create_crawler() / update_crawler() …

■ はじめに https://dk521123.hatenablog.com/entry/2018/10/14/113600 https://dk521123.hatenablog.com/entry/2020/02/24/185656 の続き。 ■ サンプル MainScene ... メイン用シーン GameOverScene ... ゲームオーバー用シーン スクリプト例 BallScript : …

■ サンプル 例１：簡易版 import logging import sys LOG_FORMAT = '%(asctime)s - %(name)s - %(levelname)s - %(message)s' logging.basicConfig( level=logging.INFO, stream=sys.stdout, format=LOG_FORMAT) logging.info("Start") logging.info("End") …

■ はじめに https://dk521123.hatenablog.com/entry/2018/03/01/225732 で扱った ansible の続き。 今回の目的 [a] Ansible のインストール [b] Ansible を使って、ローカル上にApacheインストール => シンプルな構成で、かつ、やることもシンプルなので、 A…

■ はじめに AWS CLI からのレスポンスがJSONなので そこから値を取得する必要がある。 そこで調べてみたら jqコマンド ってのがみつかったのでメモ。 目次 【１】参考にできるサイト １）ドキュメント ２）動画 【２】環境設定 １）Linux の場合 ２）Windows…