タダです. RDS ログを S3 にアップロードする Python スクリプトを ECS で実行に向けての記事や運用時に遭遇した気づきを書いたのですが,この記事でも運用し続けてみて発生した課題に対する対策をまとめていきます. 運用してみての課題 課題に対する対策 差…

タダです. 前回の記事で RDS ログを S3 にアップロードする処理を ECS で定期実行するように運用し始めました.運用し始めて遭遇した気づきがあり,そのことについて本記事で書いていきます. sadayoshi-tada.hatenablog.com 運用し始めて発生した事象 原因調査…

タダです. 前回記事で RDS ログを S3 にアップロードする Python スクリプトを Docker で動作するようにしました.今回は GitHub Actions でコンテナイメージを ECR に格納し,EventBridge Scheduler で ECS Runtask を実行するようにしてきます. sadayoshi-ta…

タダです. 前回の記事で RDS ログをダウンロードする Python スクリプトを作った記事を書きました.今回の記事はで Python スクリプトに S3 アップロードする処理を追加したものを ECS 上で動かすためにローカルで Docker イメージにし,ローカル実行をしてみ…

タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウ…

タダです. AWS の IAM ロールとポリシーがどのような関係になっているかを描画するツールを調べた時に,Cartography を使う機会があったのでこの記事で試した内容をまとめていきます. Cartography とは Cartography のセットアップ Cartography を使って AWS …

タダです. 定期イベントを CloudWatch Events で設定し,定型処理を実行する Lambda をキックすることはよくあることだと思います.今回 CloudWatch Events の定数を使って Lambda の処理を分岐させるのをやってみたのでこの記事にまとめていきます.今回は ECS…

タダです. redash のデータソースとして Python を使ってみる機会があったので,この記事にまとめていきます.なお,redash のバージョンは 8.0.0+b32245 で確認しています. Python をデータソースに追加 データソース追加後のコードを書いてみる まとめ Python…

タダです. Amazon OpenSearch Service のインデックス再設計に関わった際に,次の運用上の懸念がありました. インデックスは月ごとに生成し,生成したインデックスに対してアプリケーションから見た時のエイリアスとして参照用と書き込み用の2つを貼りたい 前…

タダです. 以前から気になっていた moto というツールを試す機会があったので,この記事で導入と pytest と組み合わせたテストをチュートリアルの内容を通して見ていきたいと思います. moto って？ moto でモックを作り pytest でテストする まとめ moto って…

タダです. 業務で API で使用する言語を置き換える検討をしていたりするんですが, FastAPI と Falcon を比較した際Docker イメージにした時の軽量さとベンチマークしてみてどれくらいレスポンスが速いかを計測した機会があったので,この記事に検証した内容を…

タダです. 以前紹介した「AWS Data Wrangler」が今年の4月に v1.0 でリリースされました.リリースから2ヶ月,過去記事に書いたものからどんなアップデートがあるかをまとめます. 公式ブログ aws.amazon.com 過去記事 sadayoshi-tada.hatenablog.com AWS Data …

タダです. Mac のローカルで pip installしようとした時に SSL 関連のエラーの事象にあたりました.突然,pip installの実行ができなくなったため,この記事で対応方法を整理します. 事象の概要 結論 エラー対応の時系列 OpenSSL 周りを再インストール Python …

タダです. 皆さん,普段システムの構成図ってどうやって管理していますか？Excel や PowerPoint,専用のツールを使われていたり色々な方法で管理されているのですが,以前 PlantUML の形式で作図できる「AWS-PlantUML」を紹介させてもらいました. sadayoshi-tad…

タダです. AWS 謹製の Python データ分析モジュールの「AWS Data Wrangler」がリリースされました.今回は普段 Python を使ってデータ分析の勉強をしているため,「AWS Data Wrangler」を公式ブログチュートリアルを参考に使ってみた所感を書いていきます. aws…

タダです. 現在,ベータ版である Pyhon3 エンジニア検定データ分析試験を受験するために指定書籍で勉強を進めています.自前の Mac で環境構築し勉強中に Matplotlib のグラフが描画できない問題が起こり,その問題に対処したので対応内容をまとめます. なお,環…

タダです。 5/11 に「Python3 エンジニア検定」を受験し,合格しました.受験前の勉強ログは,note に書きましたが今回は受験の振り返りをします.受験を考えている方や興味ある方が何か参考になれば嬉しいです. note.mu 試験結果の振り返り 700 点の合格ライン…

タダです。 この記事は「後回し改善ウィーク」の3日目の記事です。機械学習やデータ分析の勉強目的で Udemy で購入したまま進んでなかった「【ゼロから始めるデータ分析】 ビジネスケースで学ぶPythonデータサイエンス入門」に取り掛かっています。 Python …

タダです。 今回は、 機械学習の Python コーディング補完ツール「Kite」について紹介します。 Kite とは 「Kite」とは、統合開発環境と連携し、機械学習の Python コード補完ツールです。 kite.com 統合開発環境としてサポートされているのは、Atom, Pychar…

タダです。 機械学習やデータ分析の勉強の過程で Python を使ってデータの可視化をやることが増えました。これまでは、「Matplotlib」のみを使っていましたが、別の手法として今回「Dash」というフレームワークを使ってみます。 plot.ly Dash とは 「Dash」…

タダです。 機械学習、ディープラーニング(深層学習)の技術に興味があり、勉強をしています。 今回は、そんな僕のような方々にぴったりの書籍を紹介します。 それは、「秒速DEEP LEARNING -Colaboratoryで入門〜応用ひとっ飛び-(以下、本書)」です。 本書は…

タダです。 機械学習技術や Python に興味があり、色々と勉強中で技術を手を動かして学びたいと思っていました。 そんな折、からあげさん( id:karaage )の機械学習コンテンツを購入し、テキストマイニングのチュートリアルに取り組んだのでその内容をまとめ…

タダです。 機械学習の勉強を進めていて、僕のような初学者向けの本「機械学習のエッセンス」を読んだので所感をまとめていきます。 www.sbcr.jp 目次 第1章 学習を始める前に 第2章 Pythonの基本 第3章 機械学習に必要な数学 第4章 Pythonによる数値計算 第…

タダです。 あけましておめでとうございます！ 新年一発目のブログを書いて行きます。 実は、id:kakku22さんのブログメンティーに選んでいただきまして、良いプレッシャーをいただきつつブログを書いています。 TL;DR スクレイピングと機械学習 スクレイピン…

タダです。 やる気の問題で更新が滞ってました。。 日課 Python 文法 辞書型のデータの定義は、hoge = {} 100本ノック 元素記号 "Hi He Lied Because Boron Could Not Oxidize Fluorine. New Nations Might Also Sign Peace Security Clause. Arthur King Ca…

タダです。 日課 Python文法 今日はクラスとメソッドあたりを学びました クラス(設計図)からインスタンス(実際のもの)を作る クラス内に定義するメソッドは、クラスメソッド クラスメソッドを使うときは、インスタンス化してから クラスメソッドはselfを引数…

タダです。 日課 Python文法 今日は以下のことを学びました。 関数:処理をまとめたもの 仮引数:関数の引数 仮引数の初期化：関数の引数でのデフォルト値 モジュール：Pythonで書かれたファイルのこと importを使うとモジュールを取り込める 読み込んだモジュ…

タダです。 日課 Python文法 標準入力はinput()でやる 条件分岐は、if、elif、else 繰り返しでcontinueを使うと、continue以降の処理はスキップされる 100本ノック 「パトカー」＋「タクシー」＝「パタトクカシーー」 「パトカー」＋「タクシー」の文字を先…

タダです。 今日から 日課 という取り組みをやっていこうと思います。 日々学んだこととは別に自分に課した課題です。 日課 当面の日課はプログラミングの習慣化です。 Python文法 Python100本ノックを1日1問解く この2つをやっていきます。 Python文法 今日…

タダです。 水曜日から体調崩していて、回復を優先してきて日記が滞りました。。 振り返りのフレームワーク 自分の振り返りのフレームワークを決めといたほうがやりやすいと思って次の資料を見て、エッセンスをまとめます。 参考資料 speakerdeck.com フレー…