はてなブックマーク

昨今、Raspberry Piが品薄で手に入らない状態が続いています。 個人的にはRaspberry Piを5台持っているので、新しいモデルでも出てこない限りは購入する予定は無いのですが、IoT系のプロジェクトでは結構申告な状態だったりします。 そんな中、産業用途のRaspberry Piの代替としてRSコンポーネンツがRadxa(ラクサ)社のRock 5 Model Bの取り扱いを始めました。 以下の文はこちらの記事から引用したものです。アールエスコンポーネンツ、業務用最先端 シングルボードコンピュータ「Rock 5」の国内販売を開始｜アールエスコンポーネンツ株式会社のプレスリリース(配信日時：2023年1月17日 14時00分) 当社は、世界で最も成功したSBC「ラズベリーパイ」を日本で初めて販売し、その後10年にわたり、同製品の製造・流通・販売を担ってきました。しかし、SBC市場の拡

タイトルの通り、AWS IoT Greengrass V2をTerraformとAnsibleでRaspberry Piに導入するサンプル作りました。 github.com 概要は以下になります。最終的にはRaspberry Piから発行されたMQTTメッセージがAWS IoTで確認できるはずです。 前提 実行手順 事前準備 Raspberry Pi準備 Gitリポジトリの準備 Makefileのパラメータ確認 Terraform実行 Ansible実行 Greengrassへのコンポーネントデプロイ Greengrassコンポーネントをデバイスにデプロイ AWS IoT MQTTテストクライアントでメッセージ確認 前提 PC環境 Linux Git Make Docker AWS CLI Raspberry Pi 以下のOSイメージを利用しています。（恐らく他のDebianでも動くはず）

Amazon Cognitoの認証フローは複数ありますが、サーバーサイドの処理のパターンから代表的な USER_PASSWORD_AUTH と USER_SRP_AUTH を行う方法を書きます。 AWSの資料から引用した以下の表の〇部分です。 引用元：https://d1.awsstatic.com/webinars/jp/pdf/services/20200630_AWS_BlackBelt_Amazon%20Cognito.pdf 準備 IAM User CognitoユーザープールID取得 アプリケーションクライアント作成 USER_PASSWORD_AUTH curl Python Python(クライアントシークレット対応） USER_SRP_AUTH 実装検討時の参考 アプリケーションクライアント設定 Python 参考URL 準備 IAM User curlでの実行でも不要で

2022年も終わりに近付いてきたので今年も振り返りを書こうと思います。 使ってきた技術 仕事への関わり方を見直した 所属している会社が上場した 今年読んで印象に残っている書籍 買って良かったもの このブログも10年目です 最後に 使ってきた技術 使っている技術分野は2020年から変わらず全方位戦です。AWS、Azure、GCPは全て使っていますし、SORACOMも使っている。新サービス検証もすれば、アーキテクチャ設計もしていれば、コードも毎日書いています。 今年の特徴だったのはAI/ML関連の開発が増えたことです。といっても私が機械学習のコード書くわけではありません。MLOpsと呼ばれる分野になると思いますが、MLをITサービス内で活用するための開発に多く携わってきました。以下の有名な図のML Code以外の部分です。 引用元：Hidden Technical Debt in Machin

Lambdaで並列処理のパフォーマンス対応をしたので残しておきます。 目的 要件 アプローチ① 単一Lambdaシーケンシャル アプローチ② 単一Lambda 並列ダウンロード・並列処理・EFS利用 参考 アプローチ➂ 並列Lambda 並列ダウンロード・並列処理・EFS利用 参考 アプローチ④ 並列Lambda 並列ダウンロード・並列処理 アプローチ⑤ 並列Lambda 並列ダウンロード（インメモリ）・並列処理 さいごに 目的 ここで書く内容は色々とベストプラクティスでは無いです。むしろ考え方によってはアンチパターンも含んでいます。ただ考え方や詰まりポイントが誰かの何かのヒントになれば幸いです。 要件 S3上に定期的に最新データがファイル保存される データファイルは多次元構造の特殊ファイルで読み込みにはライブラリが必要 データファイルはライブラリ制約でインメモリで処理できない REST

PKIベースでAWSのIAMロールを使える IAM Role Anywhereが発表されました。早速使えるようだったのでOpenSSLでCA構築して使ってみた手順を残しておきます。 環境汚さないためにDocker使っています。 AWS Identity and Access Management introduces IAM Roles Anywhere for workloads outside of AWS What is AWS Identity and Access Management Roles Anywhere? - IAM Roles Anywhere Extend AWS IAM roles to workloads outside of AWS with IAM Roles Anywhere | AWS Security Blog [HostOS] RootCA用のDo

Ubuntuバージョン パッケージ情報 GitHub apt info スケジューリング anacron (今は使われていない) systemdによるスケジュール スケジュール確認 スケジュール設定（Systemd Timerファイル） スケジュール設定 処理概要 systemd Serviceファイル apt.systemd.dailyスクリプト パラメータ 現在のパラメータ値を確認する パラメータの設定場所 unattended-upgradeの中身の挙動制御パラメータ unattended-upgradeの起動パラメータ 設定ファイル その他 unattended-upgrade-shutdownサービス ログの場所 マニュアル実行 Ubuntuバージョン 以下のバージョンで動きを確認しました。 $ uname -v #71~20.04.1-Ubuntu SMP Thu Jul 15

GitHub Actionsの中で立ち上げるDockerコンテナに AWS_ACCESS_KEY_ID や AWS_SECRET_ACCESS_KEY 、 AWS_SESSION_TOKEN を渡してAWS認証を行いたいと思い調べていました。 どうやら以下のモジュールを使うことで、OIDCでWebIdentityとしてIAM RoleをAssumeできるみたいということでやってみました。 github.com AWSにOIDC ProviderとIAM Roleの作成 定義 2022/04/05修正 内容 GitHub Actionsから認証情報を取得してみる 定義 内容 AWSにOIDC ProviderとIAM Roleの作成 定義 以下のCloudFormationでOIDC ProviderとGitHub Actionsから利用するIAMロールを作成します。以下のIAMロールには特

Raspberry Piの構築をAnsibleで行っていましたが、最初にネットワーク使えるようにするまでに、ほんの少しだけ手作業の設定が必要でした。 そこで、ネットワーク設定を含む全てのマシンで必要な共通のゴールデンイメージとして持って、マシンごとの個別部分をAnsilbleで行う方法に切り替えることで方式を考えることにしました。 最初は普通にRaspberry Piで設定した内容をイメージバックアップ取れば良いかなと思っていたのですが、以下のリポジトリを使ったPackerを使う方法があることがわかりタイトルの方式を採ることにしました。 github.com 全体図 前提 コード全体 使い方 リポジトリのClone イメージの書き換え Ansibleを調整 実行する SDカードに焼く パラメータ変更 最後に 更なる自動化 イメージサイズを削減できる ドキュメント化 参考 全体図 前提 Do

世の中はEV普及に向けて進んでいますが、EVが普及するためには必須事項として充電環境があります。充電器を管理するオープンなプロトコルのOCPP（Open Charge Point Protocol）を触る機会があり記事を書きます。 OCPPとは OCPPを触りたい Charge Point側開発に利用するPythonライブラリ SteVe (Central Systemとして使えるOSSパッケージ) 作りたい構成 環境構築(Central System側) SteVeの起動 ブラウザからSteVeにログイン Central System(SteVe)にCharge Pointの登録 環境構築(Charge Point側） 必要パッケージのインストール PythonによるCharge Pointの実装 動かしてみる 動かしてみる前に BootNotification.reqでCharge P

Lambdaのコンテナイメージからkubectlを実行してEKSを操作してみます。AWS Lambda runtime API 辺りが少し面倒ですが、総じてとても便利です。 なじみの人が多いだろうシェルスクリプトで実装していきます。 はじめに 最初に読んでおくべきもの 実装 Lambda実行要のIAMロールの作成 EKSクラスタへのKubenetesロールのバインディング イメージの作成 ディレクトリ構成 handler.sh bootstrap.sh Dockerfile ローカルテスト Lambdaを設定して実行 所感 はじめに kubectlをLambdaで実行すると便利な場面もあると思っていて、実際に以下のような情報で今までもできたと思います。せっかくコンテナイメージが使えるようになったので、Dockerfileからビルドして利用してみようと思います。 github.com 最初に

この記事はBeeX Advent Calendar 2020の12/12の記事です。 EKSのデータプレーンをどう選ぶか考えたとき、個人的にはFargateを積極的に使いたいところですが、まだ制限も多くて要件にフィットしない場合もあります。 そんな時に選択肢として挙がるManaged Node Groupですが、ReInvent2020でSpotインスタンスの利用できる機能が発表されたり、また使いやすくなったと感じています。 ここではそんな、Managed Node Groupで展開したEC2ノードのランタイムセキュリティをチェックする方法としてFalcoを使う手順を書いていきます。 概要としては以下の図の通りです。 Falcoは何か公式のドキュメントから引用します。 Falcoは実行時にカーネルからのLinuxシステムコールを解析し、強力なルールエンジンに対してストリームをアサートします

Azure Data Catalogについて書きます。 azure.microsoft.com データカタログって Azure Data Catalog 対応しているデータソース データカタログ準備 MySQLサンプルデータの準備 Azure Data Catalogにメタデータ発行用の登録ツールインストール MySQLコネクタインストール 登録ツールインストール MySQLのメタデータをAzure Data Catalogに取り込み Data Catalogを見てみる トップ画面 プロパティ プレビュー 列情報 データプロファイル ドキュメント 関連データ（リレーション情報） アプリから開く ビジネス用語集 まとめ 参考URL 関連URL データカタログって データカタログはデータマネジメントを行うために重要なサービスとなります。 ここで端的に説明する自信も、理解も無いと思うので、書籍と

AWSを運用しているCloudWatch Logsを分析することが良くあると思います。 数年前はCloudWatch Logsのファイルをダウンロードしてきて、分析していて面倒でしたが、 CloudWatch Logs Insights が出てきてそれもかなり楽になりました。 それでも毎回調べながらクエリを打つのは結構面倒なので、ログ分析基盤としてElasticsearchなどを利用する場合もあると思います。 この記事ではログ分析基盤が無い環境でも、ローカルのElasticsearchに流し込んで簡単に分析できる環境をDockerで整理したので書いていきます。 前提 全体像 リポジトリ 使い方 ダウンロードからのコンテナ起動 Jupyter Lab接続 パラメータ設定 AWS Profile CloudWatch Logs データロード Kibanaで分析 後片付け 前提 Docker d

題名の件、Glueで外部ライブラリをインポートしたので、その方法を書いておきます。 外部ライブラリ 参照元 アップロードパッケージ作成 GlueジョブにPythonの外部パッケージ設定 GlueのPySparkコードから実行 出力結果 本当はこんなことしたかったわけではなく・・ boto3が古い boto3を最新化 しかし動かない 外部ライブラリ 何でも良いのですが、ググったら出てきたわかりやすいやつです。ASCIIアートを表示します。これをGlueにインポートして使えるようにしてみます。 github.com $ python Python 3.6.7 (default, Oct 22 2018, 11:32:17) [GCC 8.2.0] on linux Type "help", "copyright", "credits" or "license" for more informa

HashicorpからTerraformのイメージが公式でDocker Hubに公開されています。 https://hub.docker.com/r/hashicorp/terraform こちらを利用してGCPにインフラをデプロイします。その際に認証の部分もDockerの公式イメージだけで対応してみようと思います。 利用するTerraform定義 まず、ネットワーク作成するためのTerraformの定義を作成しておきます。 mkdir gcp_infra cat <<EOF > gcp_infra/main.tf variable "gcp_project" {} provider "google" { version = "~> 3.3" project = var.gcp_project } resource "google_compute_network" "network" {

GCPのCloud Dataflowでも使われている、Apache BeamでJavaの内部で持っているデータをParquetに出力するやり方です。 サンプルコードの構成 元にしたMaven ArcheType 利用するPOJO GenericRecordへの変換 出力先の切り替え ローカルに出力してみる GCSに出力してみる AWS S3に出力してみる サンプルコードの構成 以下のリポジトリに今回書いているコードを置いておきました。 github.com こちらで補足書いておきます。 元にしたMaven ArcheType こちらのMaven ArcheType元に作成しています。バージョンは現在の最新の2.22.0を利用しています。 mvnrepository.com 利用するPOJO 以下の構造のデータをParquetに変換してみます。 static class PC { Strin

Bashスクリプトやワンライナーから直接SQLiteを操作する方法です。せっかくなのでPSコマンドで出力したプロセスの一覧をDBに格納するところまでやってみました。 Bashからsqliteを操作する方法 DB作成方法。 echo ".open db_name" | sqlite3 SQL文投入はこんな感じ。 sqlite3 db_name "SQL文" Bashスクリプト例(PSコマンドの結果をDBに投入) 後はスクリプトに組み込むだけ。 PSコマンドの結果をDBに取り込んでみました。 #!/bin/bash if [ $# -ne 1 ];then cat <<_EOS_ Usage $0 databasefile _EOS_ exit -1 fi if [ ! -x $(which sqlite3) ];then echo "sqlite3 not found." exit -1 f

KubernetesのYAMLを環境毎のに分ける時にkubectlに標準で入っているkustomizeを使ってるのですが、サンプルなどに書かれている patchesStrategicMerge では以下のようなYAML内の値に変数を埋め込めないな。と考えていました。 kustomizeのリポジトリを見ていたら vars という設定を見つけたので、これをを上手く使えないか考えた方法を書いていきます。 github.com 利用ケース Varsの設定の読み方 ファイル構造 ファイルの中身(overlays側) overlays/${ENV}/cronjob_meta.yml overlays/${ENV}/kustomization.yml ファイルの中身(base側) base/cronjob.yml base/kustomization.yml base/varreference.yml

AKSでもマネージドIDが使えるようになったことで、KubernetesのPodから定期ジョブなどでkubectlを実行したい時にAzure CLIで認証できるようになりました。 前提 コンテナイメージをビルド ENTRYPOINTのスクリプト イメージのビルド ACRにイメージをビルド Kubernetesデプロイ 定義作成 Podデプロイ 前提 以下の記事でも書いたように、AKSに紐付いたマネージドIDに適切な権限が付いていることが前提になります。 yomon.hatenablog.com コンテナイメージをビルド ENTRYPOINTのスクリプト マネージドIDで認証をAzure CLIで取得して、kubectlを実行するスクリプトを entrypoint.sh とう名前で作ります。 AKSの情報は環境変数から取得します。 #!/bin/sh AZ_RG=${RESOURCE_GRO

Google Cloud Certified Professional Cloud DevOps Engineerを取得してきました。 試験情報 試験内容 ここは勉強しておいた方が良い これでGCP 6冠 試験情報 試験時間 2時間 問題数 50問 言語 英語 模擬試験も、申し込みも英語は英語用のリンクからの方が辿りやすいです。 cloud.google.com 1問あたり2分強で、長文もある程度あったので、私の英語力では結構ギリギリで10分くらいしか見直しの時間取れませんでした。 試験内容 今回、既存知識だけで大して勉強せず受けてきたので、あまり言えること無いのですが、GCPは模擬試験無料で公開されていたり、試験のトレーニング内容等も無料で試験ページにあって、基本的にそこに素直に出題される気がするので、このページしっかり見れば十分合格できるのではと思います。 cloud.google.c

今度、Kubernetes使うので、復習としてこちらの書籍読みました。 しくみがわかるKubernetes Azureで動かしながら学ぶコンセプトと実践知識 作者:阿佐 志保,真壁 徹発売日: 2019/01/23メディア: 単行本（ソフトカバー） 構成 目次は以下でした。 第1部　導入編 CHAPTER 01　コンテナーとKubernetes CHAPTER 02　Kubernetesの環境構築 CHAPTER 03　Kubernetesを動かしてみよう 第2部　基本編 CHAPTER 04　Kubernetesの要点 CHAPTER 05　コンテナーアプリケーションの実行 CHAPTER 06　アプリケーションのデプロイ 第3部　実践編 CHAPTER 07　アーキテクチャーと設計原則 CHAPTER 08　可用性（Availability） CHAPTER 09　拡張性（Scalab

前提 SQL Server起動 sqlcmdで接続 SSMSから接続 参考URL SQL Serverの動作確認のためにWSL2のDocker上でSQL Server起動して、SQL Server Management Studio (SSMS)で接続するところまでです。 前提 WSL2とDockerが入っていること SSMSがインストールされていること(ここからダウンロード） SQL Server起動 SAのパスワードを変数に設定しておきます。 $ PASSWORD=someYourP@ssw0rd こちらのイメージを利用します。 https://hub.docker.com/_/microsoft-mssql-server 実行は簡単で、以下のコマンドを実行するだけです。 docker run --name mssql -d -p 1433:1433 \ -e "ACCEPT_EULA

TypeScriptからSharePointやOneDriveのExcel Onlineの情報を読み込む方法を書きます。 読み込みたいファイル 認証 App Registration Portalへアプリケーション登録 Tokenの取得 TypeScriptからExcelへアクセスしてみる config.json index.ts 実行してみる 参考 読み込みたいファイル 項目 値 ディレクトリ OneDrive上の /otomo ファイル名 sample.xlsx シート名 SampleSheet Cell B4:C4 このファイルの、 ここ読み込みます。 認証 Graph API使うための準備をします。 App Registration Portalへアプリケーション登録 まずはOAuth2で認可設定するために、こちらにアプリケーション登録します。 App Registration P

BigQueryの割り当て(クオータ・Quotas)をAPIから変更する方法を探していましたが、GCP公式ドキュメント見てもコンソールでの作業ばかりしか記載が見つかりません。 cloud.google.com GCPの公式ドキュメントはほとんどの項目でgcloud等で設定するパターンが書かれているので、これは無いのではと思い情報を探していました。 情報を見つけた そこで以下のブログに出会いました。 medium.com I tried to understand how the API worked in the console thanks to the developer mode of Chrome and I found a workaround. Chromeの開発者モードで見ればやり方わかるよ！ なるほど！と思い、やってみたら見つけました。ブログに記載されているAPIが確かに実

この本を読みました。 達人に学ぶSQL徹底指南書 第2版 初級者で終わりたくないあなたへ (CodeZine BOOKS) 作者:ミック翔泳社Amazon 目次 1部　魔法のSQL 2部　リレーショナルデータベースの世界 自分のレベルと書籍のレベル 自分のレベル 書籍のレベル サンプル・演習の実行環境準備 実行環境 コンテナ起動 pgcliで接続 psqlで接続 コンテナ削除 SQLファイルダウンロード 所感 すぐに使える内容もいっぱい 読みやすい 2部の理論難しい 2021/11/24 所感追記 目次 まず目次から。2部構成になっていて、第1部は主に演習をしながら進めていくタイプの内容で、第2部は主に読み物としてリレーショナルデータベースの世界を覗くものになります。 1部　魔法のSQL 1 CASE式のススメ 2 必ずわかるウィンドウ関数 3 自己結合の使い方 4 ３値論理とNULL 5