ゼロトラストの概念は近年のテレワークやクラウド利用の普及により注目を集めていますが、いざ自組織に実装しようとしたときにはさまざまな課題に直面することが予想されます。また、ゼロトラスト移行の効果を最大限発揮するためには、ゼロトラストに対する担当者の理解が不可欠になっています。 そこで本書ではゼロトラストの概念を自組織に実装する際に必要となる検討の流れや、得られるメリット、ソリューションの導入順序とその際のポイントについてまとめました。これからゼロトラスト移行を検討している組織の担当者に参考にしていただけると幸いです。
カメラ付き顔認識体表温度計を中古で買ったら中に全員の顔写真以下略って全部言っちゃった！ - honeylab's blog
（本件に関する詳しいお問い合わせはTwitterのDMか、→のプロフィールにあるメールアドレスにどうぞ。） Twitter見てたらこんな記事が流れてきたんですよ コロナ禍が終わり、店の入り口にある温度計の中古品が安く出回り始めた。 で、買った。 pic.twitter.com/708olhpSjN — 林 雄司 (@yaginome) April 30, 2023 変なもの投げ売りに興味のある私、早速メルカリで見てみると、それなりの安い値段で売っていたので、また値段が上がる前にと思って早速一台買ったんですよ。 ある意味有名な、しかしなぜか業界標準の体表温度計サーモマネージャーを買ってみた。自分への誕生日プレゼントとすることにした。尚、傷あり中古ということで定価の1/10程度で入手した。この価格で、実は大変高価な何かが採取できないかどうか気になるのである。 pic.twitter.com/j
2021年12月10日、Javaベースのログ出力ライブラリ「Apache Log4j」の2.x系バージョン（以降はLog4j2と記載）で確認された深刻な脆弱性を修正したバージョンが公開されました。セキュリティ関係組織では過去話題になったHeartbleedやShellshockと同レベルの脆弱性とも評価しています。ここでは関連する情報をまとめます。 １．何が起きたの？ Javaベースのログ出力ライブラリLog4j2で深刻な脆弱性（CVE-2021-44228）を修正したバージョンが公開された。その後も修正が不完全であったことなどを理由に2件の脆弱性が修正された。 広く利用されているライブラリであるため影響を受ける対象が多く存在するとみられ、攻撃が容易であることから2014年のHeartbleed、Shellshock以来の危険性があるとみる向きもあり、The Apache Software
2020年10月1日、東京証券取引所はアローヘッドの機器故障によりシステム障害が発生し、終日売買を停止すると発表しました。故障した機器は交換が行われ、取引は翌日再開されています。ここでは関連する情報をまとめます。 機器故障起きるも縮退運用に失敗 障害概要図 アローヘッド内の共有ディスク装置1号機で機器故障が発生した。実際故障したのはサーバー上のメモリ周辺機器とされる。 1号機故障により両現用で稼働していた2号機のみのフェールオーバー（縮退運用）が行われるはずだったが何らかの問題により行われなかった。 共有ディスク装置を使用する相場配信、売買監視のシステムで障害が発生。 障害復旧時に発生する注文データ消失による市場混乱を避けるため当日終日の取引停止の措置を実施。（遮断） フェールオーバー失敗原因は設定ミス フェールオーバーに失敗した理由が特定できたとして10月5日に発表。 障害発生時のフェー
#翻訳 https://www.scalyr.com/blog/the-10-commandments-of-logging/ CC BY 4.0 @Brice Figureau 1.自分でログの書き出しをしない printfをつかったり、ログエントリを自分でファイルに書き出したり、ログローテションを自分でやったりしてはいけない。運用担当者にお願いして、標準ライブラリやシステムAPIコールを使うようにしよう。そうすれば、実行中のアプリケーションが他のシステムコンポーネントと適切に連携して、特別なシステム設定なしに適切な場所またはネットワークサービスにログを記録できるようになる。 ロギングライブラリを使いたければ、特にJavaの世界にはLog4j, JCL, slf4j, logbackなど多くのものが存在する。私はslf4jとlogbackを組み合わせて使うのが好きだ。とてもパワフルで、設
ログの出力場所 ログは、開発者や運用担当者が見つけやすい箇所に出力することを原則としましょう。ファイルに出力する場合は、logディレクトリなどを作成しておくことをお勧めします。基本的に、出力先は以下の4つが想定されます。 ・ファイルに出力する コンソール外で起動するアプリケーションに使用される方法です。 ・標準出力 コンソールから起動するアプリケーションで使用されます。途中経過などを出力するための出力方法です。 ・外部ログ管理ツールのファイルに出力 外部のログ管理ツールを用いることが可能な場合は、専用のログ記録場所に出力することを推奨しています。 ・外部システムへ出力 開発者・運用者の作業やコミュニケーションを円滑に行うために、Slackなどのチャットツールに出力するケースもあります。ただし、稼働率に注意する必要があり過度なログの出力は控えるようにしましょう。 基本的に、外部ログ管理システ
2020年1月20日、三菱電機は自社ネットワークが不正アクセスを受け、個人情報等が外部へ流出した可能性があると発表しました。ここでは関連する情報をまとめます。報道によれば現在も三菱電機は不正アクセスへの社内調査等を進めています。 発端は研究所サーバーの不審ファイル動作 2019年6月28日に情報技術総合研究所のサーバーで不審なファイルが動作したことを社内で検知。 同じファイルが中国、及び国内他拠点で検出され内部侵害の被害を受けている可能性を受け調査を開始。 報道された出来事を時系列にまとめると以下の通り。 日時 出来事 2017年後半？ 三菱電機の中国国内子会社でマルウェア感染。 2019年3月18日 三菱電機が中国拠点のウイルスバスター法人向け製品の脆弱性を悪用された攻撃を受ける。*1 ： アップデート機能を悪用し中国拠点で侵害範囲が拡大。 2020年4月3日 中国拠点端末より国内拠点の
2024年1月2日18時前ごろ、新千歳発・東京/羽田行のJAL516便（エアバスA350-900、JA13XJ）と、海上保安庁所属「みずなぎ」（DHC-8 Dash 8、JA722A）が羽田空港C滑走路で衝突する事故が発生しました。 ※事故自体の経過についてはNHKの記事などをご覧ください（随時更新されるようです）。 要約Flightradar24など、航空機追跡サイトはボランティアによる受信で成り立っている 海保機は「ADS-B」に対応していなかったので、航空機追跡サイトでは低高度（地上走行中）に表示されなかった 加えて、Flightradar24は自主規制によって海保機の位置を表示していなかった 「ADS-B非対応」はトランスポンダを積んでいないという意味ではない。トランスポンダは積まれていたし、管制側のレーダーには表示される ADS-B非対応機は民間機にも存在するため、海保機のみが特
※本記事はアフィリエイトプログラムによる収益を得ています 首にかけるドライブレコーダー「FITT360PB」がクラウドファンディングサイトのGREEN FUNDINGに登場しました。うぉぉ!! SF感ある……！ ネックレス感覚で身に着けられるドラレコ「FITT360PB」 全ての写真はこちらから! 動画が取得できませんでした 360度をくまなく録画。装着スタイルは首かけタイプのワイヤレスイヤフォンと似ている FITT360PBは身に付けて録画するウェアラブル型のドライブレコーダー。前方カメラ2個、後方カメラ1個を内蔵し、周囲360度を撮影できる機能を備えます。 装着スタイルは首かけタイプのワイヤレスイヤフォンに似ています。設置の手間や場所を気にせずに手軽に使えるメリットを打ち出し、自転車やバイク、キックスクーターなどでの活用シーンを訴求します。 自転車、キックボード、バイクなどに 利用想定
log4jの脆弱性について
log4jとはJava用のloggingライブラリだ。loggingライブラリというのはログとして記録すべき文字列を受け取り、それをどこかに出力するものだ。文字列の中身を通常のloggingライブラリは気にしない。 log4jが通常のloggingライブラリと違うのは、文字列の中身を見て、一部の文字列を変数とみなして置換することだ。これはlog4jのドキュメントではlookupと呼ばれている。 Log4j – Log4j 2 Lookups 例えばプログラムを実行中のJava runtimeのバージョンをログに含めたい場合は、"Java Runtime: ${java:runtime}"などとすると、"Java Runtgime: Java(TM) SE Runtime Environment (build 1.7.0_67-b01) from Oracle Corporation"などの
伝わるバグ報告 | さくらのナレッジ
この記事は2020年10月28日に行われたさくらの夕べ Tech Night #3 Onlineにおける発表を文章化したものです。 ダーシノと申します。さくらインターネットでフロントエンドエンジニアをやっています。この記事では、発生したバグをプログラマーに的確に伝えるためのバグ報告の書き方について説明しようと思います。 バグ報告にはコツがある！ プログラマをされている方で、過去にこんなバグ報告をもらった経験はないでしょうか。例えば「動きません」とだけ送られてきたりとか、イラッとした感情も含めた「使えねぇな！」みたいな報告、「アレもコレもソレもおかしいよ」みたいな、いろんなものが書かれた報告もあると思います。バグを残してリリースしてしまったプログラマーとしては非常に申し訳なくて今すぐ対応をしたいのですが、さすがに先ほどのようなバグ報告を受けても、我々プログラマは対応のしようがありません。「申
こんにちは、いちび( @itiB_S144 )です。 2021年12月25日にWindowsイベントログ解析ツールとして「Hayabusa」がリリースされました🎉 Hayabusaは事前に作成したルールに則ってWindowsイベントログを調査し、インシデントや何かしらのイベントが発生していないか高速に検知することができるツールです。 私も開発を微力ながらお手伝いさせていただきました。 本記事では多くの方にHayabusaを触っていただきたいため、簡単な使い方を紹介していきます。 We just released two Windows event log analysis tools: Hayabusa and WELA: https://t.co/nFHxSgUl2q #yamasec— Yamato Security Tools (@SecurityYamato) 2021年12月2
これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス：ALB or ECS Service 共有 or １環境毎 アクセスログ：ALB or WEBサーバー ECS / EKS デプロイ：Blue/Gr
エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3
AWSのログ管理についてはいくつか考えるポイントがあると思います。 どのログを保存するか。 CloudWatch Logs（以下CW Logsと記載）とS3のどちらに保存するか、もしくは両方に保存するか などなど。 システムの特性によるところも多いかと思いますが、自分の中でのログ管理のベースラインが定まりつつあるので、頭の整理がてらまとめます。 自分の中での大まかな方針としては以下です。 S3に保存できるものは基本S3に保存する。 以下の場合は、CW Logsに保存する。必要に応じてS3に転送する。 アラームを出したい場合 さっとCW Logs Insightでログを確認したい場合 CW Logs に出さざるを得ない場合 全体像としては以下になります。 なおあくまで個人的な経験に基づくものなので、実際にはシステムの特性を踏まえて方針の決定が必要かと思います。 またこれは必要、これは不要など
課題 数年前と比較すると、GKEやECSを始めとするコンテナ実行環境でのアプリケーション運用を行うサービスはかなり増えてきた印象があります。 コンテナを運用する上では、アプリケーションのイベントを追跡する上でログをどう扱うかが課題になります。今までのように古いログを定期的にローテートして別のストレージに転送するといった手法はクラウドネイティブなアーキテクチャには最適とは言えません。 アプリケーション開発の方法論として、Twelve Factor App ではログをイベントストリームとして扱うためのガイドラインが示されていますが、近年のWebアプリケーションではシステムを疎結合に連携するマイクロサービスという考え方が主流になりつつあります。 アプリケーションログはサービスごとにフォーマットを整形した上で、ログ収集サービスに配送。必要に応じてリアルタイム分析や異常データの通知、そしてデータの可
Webアプリケーションのログに関するいくつかの考察 - Hatena Developer Blog
こんにちは、はてなでWebアプリケーションエンジニアをやっている id:polamjag です。 最近のはてなでは、若手エンジニアを中心として、いろいろな技術を見つめ直すワーキンググループをやっています。先日、id:onk も「デプロイ今昔」という記事を書きましたが、このエントリーはそのシリーズの続きで、ワーキンググループの「ログ」の回で議論したこと・話題になったことをまとめました。 Web開発におけるログを見つめ直す ログを4つの目的で分類する 目的ごとに求められる取り扱いの要求水準 いまどきのログフォーマットについて まとめ：どう実装するかを模索していく Web開発におけるログを見つめ直す Webサービス（Webアプリケーション）の運用には、多種多様なログがついてまわります。多くのミドルウェアは何もしなくてもそれなりの量のログを出力しますし、クラウド上のマネージドサービスも然りです。行
運用出来るWebアプリケーションの作り方
はじめに 先日、下記のようなツイートを見つけて、そういえば趣味で個人開発してたときには然程気にしてなかったけど、仕事で運用するようになって先輩たちから学んだり自分で身につけたチップスってちょこちょこあるよねー、とふと思ったので、Webアプリケーション開発に関わるものをいくつかまとめてみました。 特に体系的/網羅的という程でもないですし、最近はFWや色々な仕組みでカバーされてるものも多いですが備忘録として。 Tips 機械が読めるログを作る これは割と重要なのですが、ログは人間が読むものではなく機械が読むものです。それはZabbixだったりDatadogだったりSplunkだったりgrep/awkだったりツールは何でも良いのですが、古の時代はさておき現代ではログは機械が読めることが最重要です。 まず大前提として構造化されている必要があります。言うまでもないですが「フリーフォーマット」のログの
Log4jで話題になったWAFの回避/難読化とは何か
はじめに 2021年12月に発見されたLog4jのCVE-2021-44228は、稀に見るレベル、まさに超弩級の脆弱性となっています。今回、私はTwitterを主な足がかりとして情報収集を行いましたが、(英語・日本語どちらにおいても)かなりWAFそのものが話題になっていることに驚きました。ある人は「WAFが早速対応してくれたから安心だ！」と叫び、別の人は「WAFを回避できる難読化の方法が見つかった。WAFは役に立たない！」と主張する。さらにはGitHubに「WAFを回避できるペイロード(攻撃文字列)一覧」がアップロードされ、それについて「Scutumではこのパターンも止まりますか？」と問い合わせが来るなど、かなりWAFでの防御とその回避方法について注目が集まりました。 実はWAFにおいては、「回避(EvasionあるいはBypass)」との戦いは永遠のテーマです。これは今回Log4jの件で
ここ数年、組織の拡大に伴い、過去にはやらなかった取り組みを始める機会が増えた。特に大きな変化の一つが、デザイナーやエンジニア、ライターといったクリエイターたちの作業時間や作業項目を細かく記録する「工数管理ツール」を全社導入したことである。 工数管理のメインツールとしては、freeeさんが提供している「freee工数管理」を使用している。 UIに優れた便利なツールで、Googleカレンダーと連動させることでかなりの入力を自動化できるが、プロジェクト単位や人単位の集計など、標準機能では提供されていないレポートもあったので、このツールで出力されるデータを元にプロジェクト別/人別に表示できるツールも自作した。 なお、このツールを、freeeさん協力の下、外部にも販売することになった。ご興味がある方は、文末にも掲載しているLPからお問い合わせください。 導入の経緯 業界によっては、「なんでこんな当た
この記事は、株式会社カオナビ Advent Calendar 2023 の3日目です。 はじめに 株式会社カオナビの高橋(@kunit)です。 今回は MySQL バージョンアップ(5.7 -> 8.0) で起きた問題とそれに対してどのように対処したのかを書いていこうと思います。 何が起きたのか MySQL 5.7 から 8.0 にバージョンアップをするにあたって、CI およびローカル環境でテストができるように MySQL 8.0 のイメージを作成し、それをつかって各機能の担当者にテストを開始してもらっていたのですが、以下のような事が起きました。 接続を MySQL 5.7 から 8.0 に切り替えただけでテストの時間が3倍くらいかかるようになった そこを変更するだけで3倍遅くなるってやばいぞということで報告してくれた担当者と同じテストを自分でも実施してみると再現性があり、それが以下のどの
「Nintendo Switch後継機種は、Switch向けソフトも遊べる」と任天堂が公表。さらにNintendo Switch Onlineも引き続き利用できるように
任天堂は11月6日（水）に行われた経営方針説明会にて、「Nintendo Switchの後継機種ではNintendo Switch向けソフトも遊べる」ことを公表した。 また、Nintendo Switch Onlineについても、後継機種で引き続き利用可能になるという。互換性をふくむ後継機種の詳しい情報については、後日あらためて案内するとしている。 古川です。本日の経営方針説明会で、Nintendo Switchの後継機種ではNintendo Switch向けソフトも遊べることを公表しました。また、Nintendo Switch Onlineも後継機種で引き続きご利用いただけるようにします。これらNintendo Switchとの互換性を含む後継機種の詳しい情報は、後日改めてご案内します。 — 任天堂株式会社（企業広報・IR） (@NintendoCoLtd) November 6, 20
AWSでログ集約システムを構築する
トラストバンクのパブリテック事業でPdM兼エンジニアとして自治体向けSaaS企画開発運用。JAWS初心者支部とLWTTの運営。AWS Samurai2019。興味:AWS/Python/kintone/SaaS/Cloudflare/
ログ分析勉強会では、「ログ分析」に関わるすべての技術、事例、知見を共有し、日々の業務に役立てられる情報交換ができる場所を目的として活動。初のオンライン開催となった今回、NTTドコモサービスイノベーション部の千田拓矢氏が、AWS純正サーバーレスなログ分析基盤を構築する方法を解説しました。関連資料はこちら。 AWSのサーバーレスサービスでセキュリティのログ分析 千田拓矢氏：それでは始めたいと思います。AWSのサーバーレスサービスでセキュリティのログ分析をしようという話です。 簡単に自己紹介します。千田と申します。NTTドコモのサービスイノベーション部というR&Dの部署に所属していて、5年目社員です。 基本的に普段の業務では、クラウド、AWS、GCP、Azureのセキュリティに関わる仕事をしています。機械学習もちょっとわかるくらいに勉強していて、その関連でFPGAとかGPUみたいなハードウェアの
AWSのログ管理ベストプラクティス
Justtechtalk #9でお話した資料になります！
「ログを出す！ログを読む！」エンジニア版ベストキッド…「syslogに出す！ loggerで出す！」「ログレベルアップ！ダウン！アップ！ダウン！」 - Magnolia Tech
エンジニア版ベストキッド 師匠 「ログを出す！ログを読む！」「syslogに出す！ loggerで出す！」「ログレベルアップ！ダウン！アップ！ダウン！」 生徒 「クラウドネイティブなマイクロサービスの作り方を教えてくれる約束だ！」 プロダクション環境にて… 生徒「ログが…有る！これだ！」— magnoliak🍧 (@magnolia_k_) 2022年4月10日 ふとベストキッドの台詞を思い出して、雑に書いてみたけど、案外いいこと書いてるなーって自分でも思ってしまった。 loggerの使い方は入門書に載ってたり載ってなかったりするし、どんなタイミングでどんな情報をどこに出すべきか？みたいな話は一子相伝の秘伝の技みたいになりがちだし。 まさにそう思います。https://t.co/ZKTTtdwB1d— Hideo Fukumori (@hideo_fukumori) 2022年4月11日
役立つログに取り組もう
JJUG CCC 2024 Fall 2024-10-27 https://jjug.doorkeeper.jp/events/177443
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Linuxの生みの親であるLinus Torvalds氏は、LinuxカーネルにParagon SoftwareのNTFS3カーネルドライバーを導入することに同意し、Linuxカーネル5.15ではNTFSファイルシステムのサポートが強化されることになった。ただし同氏は、カーネルにコードをサブミットする際の手順とセキュリティに関する対応に苦言を呈した。 Paragon SoftwareのNTFSドライバーは、LinuxでWindowsのNTFSドライブを簡単に扱えるようにするものだ。NTFSはFATの後継にあたるMicrosoft独自のファイルシステムで、これによって数十年にわたって続いたNTFSがらみの困難が解消されることになる。 To
JavaScript を書いたことがある人ならば一度は使うであろう console.log ですが、この関数は思ったよりも厄介な性質を持っています。その性質を知らずに console.log を使うと、デバッグ時に大ハマリしてしまうことがあります。この記事では console.log の落とし穴についてお話します。 今回は Chrome に特化して解説しますが、Firefox や Safari でも同じ落とし穴があります。 console.log とは まずはさらっと基本をおさらいしましょう。 大前提なのですが、console.log は JavaScript の言語仕様（ECMAScript）で定義されていません。ブラウザ向けには whatwg の仕様がありますが、あくまでもそれはブラウザ向けの仕様であり、Node.js を含むほぼ全ての JavaScript 環境で使えるのは cons
この記事はPySpa Advent Calendar 2021の14日目のエントリーとして書かれました。昨日のエントリーは冷凍食品でウキウキ引きこもり生活 でした。ちなみに私も70ℓの冷凍庫を購入しましたが本当にライフチェンジングでした。 総論: なぜログが必要か 可観測性 たとえ目的は自明でも、その動作までが自明なアプリケーションというものはほぼ存在しません。現実の世界のアプリケーションというものは、動作パラメータだったり実行環境だったり、起動時点でのさまざまな要因によって挙動を変えるものだからです。そして、そうしたアプリケーションにはライフサイクルというものがあります。ここでいうライフサイクルは、アプリケーションの処理が実行されるにつれ、アプリケーションの内外との情報のやりとりで生じる大局的な状態の変化のことです。アプリケーションが並行処理を行うようなものであれば、個々の並行処理の単位
Kubernetesは自分にとって必要なのか
この記事は、著者の許可を得て配信しています。 https://mbird.biz/writing/do-i-need-kubernetes.html 私がチームからよく聞かれる質問がこれです。「スタックをKubernetesでホストすべきか」というものです。技術の世界でKubernetesが話題になっていることを考えると、多くの人がそうすべきだと思い込んでいます。 私は数年間k8s（Kubernetes） を使って仕事をしてきました。非常に強力で複雑なプラットフォームを使うことも多々ありました。 ただ真実はもっと微妙だと思っています。 ここでは、その判断をした経緯を紐解いてみたいと思います。スタートアップや、自社製品のホスティングに責任を持つ、より広い組織内の自給自足のチームを対象とした記事となっています。また、大規模な組織の従来のIT部門の人々にも役に立つ記事になっていると思います。 何
そのメール、本当に届いてる？Amazon SESの運用で得た監視プラクティス - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、kintone.comのバックエンドエンジニアをしている@ueokandeです。 いきなりですが、メールって難しいですよね。 普段HTTPに慣れていると、メール周りのプロトコルの理解は難しく、トラブルにも見舞われることも少なくないです。 またメールプロトコルの性質上、メールを送った後にもトラブルは起こりがちです。 グローバル向けkintone.comはAWSで運用しており、メールの機能はAmazon Simple Email Service（SES）を利用しています。 この記事ではkintone.comのメール基盤の全貌と、Amazon SESを利用する上での運用プラクティスを紹介します。 kintone.comとメール kintone.comでは、ユーザーの招待やkintone上の更新を知らせるためにメールを利用し、メール送信は重要な機能の1つです。 kintone.comは
AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したいときには使い勝手が悪い。 最近他のプロジェクトでDuckDBを使うようになって、使い勝手の良さに感動していたが、DuckDBはALBのログを探索的に調べたいときにもめっちゃ使えると思った
grep の「バイナリファイル (標準入力) に一致しました」が出る条件を調べていたらそれは長い旅路の始まりだった。
はじめに 昨今では1行につき、1つの JSON を出力する様なログファイル形式も珍しくはありません。 grep しやすい データベース化しやすい これらの理由で各所で多く使われています。僕も仕事で普通に使っているのですが、ある日突然そのログファイルを集計するスクリプトで以下の様なエラーが出始めました。
計測する前に観察せよ ~ Observe. Don't measure for monitoring until you've observed - An Epicurean
エンジニア大好き「推測するな、計測せよ」。これは、Plan 9, UTF-8やGoの作者としても知られる、Rob Pike氏の Rob Pikes's 5 Rules of ProgrammingのRule 3.に由来すると認識している。以下に原文を引用する。 Rule 3. Measure. Don't tune for speed until you've measured, and even then don't unless one part of the code overwhelms the rest. Rob Pike's 5 Rules of Programming 訳すと以下のようになる。 「計測せよ。計測するまでチューニングをするな、そしてそこが支配的じゃないならチューニングするな。」 要は「チューニングする前に計測せよ」という主張で「推測」と言う言葉は出てこない。なの
My new error...
2023 年度の僕のエラーハンドリング について書きたい。 昨日Safe Data Fetching in Modern JavaScriptを読んでいて、fetch に限った話ではないが一家言ある内容だったので書きたくなった。 おそらくやりすぎだとか非効率と言われる点はあると思うので、みんなの一家言も教えて欲しい。 対象は Typescript での サーバー開発想定だが、TS であればクライアント開発にもほとんどに当てはまる話だと思う。 例外のスローではなく Result 型を使う Result は失敗するかもしれないという文脈を与えてくれる型 エラーハンドリングの戦略として例外を投げるのではなく、Result 型を返すやり方がある。 Result 型というのは export type Result<T, E> = Ok<T> | Err<E>; export interface Ok
この記事では、Dockerを例に、コンテナログ処理の一般的な方法やベストプラクティスをいくつか紹介しています。 背景 Docker, Inc. 旧社名：dotCloud, Inc）は、2013年にDockerをオープンソースプロジェクトとしてリリースしました。その後、Dockerに代表されるコンテナ製品は、分離性能の良さ、移植性の高さ、リソース消費の少なさ、起動の早さなど複数の特徴から、瞬く間に世界中で人気を博しました。下図は2013年からのDockerとOpenStackの検索傾向を示しています。 コンテナ技術は、アプリケーションの展開や配信など、多くの便利さをもたらします。また、以下のようなログ処理のための多くの課題ももたらします。 1、コンテナの中にログを保存した場合、コンテナが取り外されるとログは消えてしまいます。コンテナは頻繁に作成・削除されるため、コンテナのライフサイクルは仮想
あなたのPHPアプリ、ログはでてますか？あるいはログをだしてますか？ / Are you writing a log? Or just out a log?
PHPカンファレンス福岡 2023 2023/06/24 uzulla
Log4Shell: RCE 0-day exploit found in log4j, a popular Java logging package | LunaTrace
Originally Posted @ December 9th & Last Updated @ August 1st, 3:30pm PDT Fixing Log4Shell? Claim a free vulnerability scan on our dedicated security platform and generate a detailed report in minutes. What is it?On Thursday, December 9th a 0-day exploit in the popular Java logging library log4j (version 2), called Log4Shell, was discovered that results in Remote Code Execution (RCE) simply by log
これからのZOZOを支える ログ収集基盤を設計した話 / Log collection infrastructure to support ZOZO in the future
これからのZOZOを支える ログ収集基盤を設計した話 / Log collection infrastructure to support ZOZO in the future
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ゼロトラスト移行のすゝめ：IPA 独立行政法人 情報処理推進機構
Log4jの深刻な脆弱性CVE-2021-44228についてまとめてみた - piyolog
2020年10月に発生した東京証券取引所のシステム障害についてまとめてみた - piyolog
ロギングベストプラクティス - kawasima
今さら聞けないログの基本と設計指針 - Qiita
ログ消去もされていた三菱電機の不正アクセスについてまとめてみた - piyolog
JAL機と衝突した海上保安庁機(JA722A)がフライトレーダーに表示されない理由｜ryo-a (vitya)
「身に付ける」ドラレコ登場 首にかけて360度をくまなく録画
Windowsイベントログ解析ツール「Hayabusa」を使ってみる - itiblog
AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠
AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ
個人的AWS ログ管理のベースライン - mazyu36の日記
コンテナ運用におけるログ基盤設計のベストプラクティス - Qiita
クリエイターの工数管理をしたら利益体質になった話の全容 | knowledge / baigie
MySQL 5.7 から 8.0 にしたらテストが激遅になった - Qiita
AWSに集まったログをどう分析するか NTTドコモのエンジニアが教えるサーバーレスなログ分析基盤
LinuxカーネルにNTFSドライバーが追加、トーバルズ氏はGitHub経由のマージに苦言
Chrome の console.log でハマらないために
Goのロギングライブラリ 2021年冬 - moriyoshiの日記
S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記
コンテナログ処理の技術的なベストプラクティス：Dockerのケーススタディ - Qiita
talking-english.net
note.com/paka_youtube
sindan-navi.net
togetter.com
automaton-media.com
www.vortis.jp