はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

年末年始になると自宅のネットワーク周りをいじりたくなるmizutaniです．1年くらい前にミラーリングできるスイッチを格安で手に入れてはしゃいで自宅ネットワークの監視環境を作ったんですが，今見直してみるとわりと複雑な構成で，これをどうにか整理できないかと昨年末に思い立ちました．機器の構成はなるべくシンプルにするとともにどうせなら今風な作りにしようということで，Docker + Linuxで構成するPCルータを作ってみました． 設計 原則 サービスのモジュール化 Linux kernelにやらせなければならない仕事を除き，各サービスをなるべく独立して動かせるようにします． 市販のブロードバンドルーターなどと比べ，Linuxを入れたマシンは非常に自由度が高いためなんでもできますが，そのために環境が"汚れて"しまうという問題が有ります 細かい変更を続けるうちにサービスや保存してあるファイルの依存

ネットワークのトラブルシュートなどをする時にtcpdumpやwiresharkといったツールを使ってキャプチャデータを取得し、正常ではない通信を特定するなど分析します。その時にIPアドレスやポート番号といったことは当然確認すると思いますが、本記事ではそれ以外に分析に利用できそうな小技をいくつか紹介したいと思います。お題は以下のとおりです。 MACアドレスからNICのベンダーが分かる IPヘッダからおおよそのホップ数が推測できる TCP/IPヘッダからOSを推定できる TCPの3-way-handshakeからネットワークの遅延を測れる TCPの再送状況からネットワーク品質の変化を見れる DHCP/mDNS/NBNS/LLMNR から同一ネットワーク内のホスト名がわかる TLSのclient helloから接続先のホスト名がわかる 【注意事項】 本職のネットワークエンジニアの方にとっては当た

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? MessagePackはTreasure Dataの古橋さんを中心として提案・実装されているデータのシリアライズフォーマットで、fluentdが互いにデータ通信をする際のフォーマットとしてよく知られていると思います。個人的にはこれをデータ分析をする際のデータの保存に活用することが多く、この記事はその手法の紹介になります。 なお、記事はなるべく正確に書くよう努めていますが、データ分析などについてはわりと素人なのでご指摘・コメントなどは歓迎です。 MessagePackを使って何をするのか やりたいことは、分析をするために取得したデータをM

本投稿では自宅やオフィスといったネットワークに接続されている機器がインターネットに対してどのような通信をしているのかを監視するため、Raspberry Piを使ってインターネットと自宅・オフィスネットワークを行き来する通信をキャプチャできる環境を低価格で構築する方法について解説します。 はじめに：なぜ自宅やオフィスのネットワーク監視が必要か インターネットの普及とともにインターネットに接続して動作する機器は急速に増加しました。昔は一般的な家庭やオフィスでもインターネットに接続するものなどせいぜいPCが1、2台でしたが、今やテレビ、ゲーム機、ビデオレコーダー、スマートフォンなど様々なものが自宅やオフィスのネットワーク・WiFiに接続して何かしら通信をしており、その台数も同居人・オフィスのメンバーの人数に応じて多くなります。 IoTというトレンドワードもあり、照明器具やおもちゃなど新たにネット

Pluginなどをあるディレクトリに格納していて、それをコード内で個別にファイル指定せず、そのディレクトリ内にある*.pyのファイルを全てimportする方法です。 以下のようなディレクトリ構成を想定します。 ./loader.py ./plugins ./plugins/__init__.py ./plugins/a.py ./plugins/b.py

C++で新しいプロジェクトを作成するときに自分が定型的にやっていることを備忘録的にまとめました。完全に我流なので「こういうやり方もあるよ」などのアドバイスは歓迎です。 この記事中では各ファイルで説明が必要な部分だけを示しますが、全てのサンプルはgithubにおいてあります。 cpp-template: https://github.com/m-mizutani/cpp-template 前提 UNIXベースのCLIで動作するアプリケーション or ライブラリを作る コンパイルはcmakeを使用する ファイル名はソースコードが*.cc、ヘッダファイルが*.hppだとする サンプルではcpptemplate というプロジェクト名だと仮定します プロジェクト用ファイルの準備 CMakeList.txt サンプル cmakeでビルドするための設定ファイルです。このサンプルではCLIアプリケーション

端的に結論を言うと、もうこれで良いじゃないかな、です。 背景 ちょっと前にこのへんとかを中心にWebのフロントエンドを作るのにフレームワークはいるかいらないかみたいな議論（適当）がありましたが、業務で静的データを使ったWebページ（サーバサイドの状態がフロントエンド側から変化しないページ）を作ることが多い自分としてはこう思いました。 確かにjQueryで直接DOMをいじるのは、いじる要素が片手で数えられるうちはいいが、それを超えるとうまく管理できなくなるからあんまり上手い方法でないのは同意できる かといってReactJSは確かに便利そうではあるが、正直ぱっと見ではよくわからないので、使うなら腰を入れて勉強する必要がありそう＝ミニマムスタートしにくそう ということでうまく折衷案的なものはないかと思っていたら riot.js というのを見つけたので試してみました。 Riot.jsの超入門 Ri

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ChatOpsを「Chatというインターフェースでサービスやプログラムと連携することによる業務改善」ととらえた時、どのような活用方法があるのかを雑多に調べて勝手にカテゴリわけしてみました。特に複数の要素について説明されていた文書などは印象に残ったものだけで分類しており、基本的に筆者の主観によるものです。 とりあえず目に入ったものを片っ端から見ていった感じですが、ここが違うよとか、こういう事例もあるよというご指摘は歓迎です。 サービスインターフェース 利用ユーザ側からシステム・サービスに対してなんらかの働きかけをするもの。 ビルドやデプロ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに データ可視化では、データの性質によって概ねどのような可視化ができるのか決まる場合があります。データ可視化は探索的なデータ分析をする場合や、データ分析した結果を誰かに伝えるために重要であり、その時々の目的に合わせた可視化を選択するべきですが、そもそも可視化手法の特性とデータの性質があっていないとあまり効果がない場合があります。筆者が業務においてデータ可視化する際にデータの性質から可視化手法を導く場合の道のりを整理し、チートシートとしてまとめてみました。 もちろん、調べたい・表現したい内容によって自分で自由に選んでもまったく問題無

概要 備忘録を兼ねてAWS上のEC2に低インタラクション型のハニーポット（実際に侵入などはさせずに攻撃データの収集をするハニーポット）の構築方法をまとめます。構成としては以下のようになります。 最初、ハニーポットを運用していた時はいちいちスクリプトを書いていろいろ調べていましたが、いい加減面倒くさくなってきたのでありもののインターフェースとしてKibanaを使うことにしました。 インスタンスはやや特殊な構成で、マネージメントとして使うデフォルトNICのeth0の他に、観測用のNIC（eth1）とグローバルアドレスを追加して観測データに余計なデータを混ぜないようにします。eth1にはIPアドレスは割り当てず、OSは一切の応答をしませんが、ハニーポットソフトウェアが適切にARPやTCPの応答などを返すことによって追加で割り当てたグローバルアドレスに対する攻撃をキャプチャします。 ログデータはf

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

2015.3.16: @hiroysatoさんから教えていただいたnewコマンドをベースにした方法へ大幅に書き換え。 背景 セキュリティ関係のなんとかみたいな仕事をしていると、ある時急に数TBの謎のログを手渡されて「これ明日までになんか解析してみて」みたいなムチャぶりが飛んでくることがあります。このようなデータ分析では分析手法云々という前に、正規化してDBに取り込んだりする作業に相当の労力が必要になります。こういう事案に対していまどきなデータ転送ソフトウエアであるembulkを使うとだいぶ分析にとりかかれるまでの作業が楽になるのではないかと思ったので、一連の手順をまとめてみました。 前提条件 大きいサイズ（数GB〜数TB）のログデータを取り込みたい ログデータは1行1レコード形式のテキストで複数ファイルに分割されている ログの出力形式などは謎。既存のプラグインなど存在しない 出力形式の推定

完全に手前味噌な記事ですがそこはご愛嬌で。 まえがき 2000年代に主なログ収集方法だったsyslogに代わって、fluentdやLogstashなどの新しいログ収集・配送方式が広く普及するようになりました。 特にfluentdはRubyによって簡単にプラグインが作成できるため、入力・出力ともに多様なプラグインが存在します。 ただC/C++のようなネイティブプログラムからログを送信する場合、ファイル出力、DB出力などを経由する必要があり、 無駄なオーバーヘッドがかかってしまうため、直接fluentdのin_forwardにデータを送り込むことが できるlibfluentを利用します。 既存のC++によるfluentd実装としてはfluent-logger-cppがありますが、libfluentは以下のような特徴があります。 ネストされたメッセージ構造をサポートしています。{"a": {"b

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 背景 KibanaはElasticsearch、GrafanaはGraphite or InfluxDBを主にバックエンドとしてWebブラウザで動作するダッシュボードツールです。GrafanaがKibanaを参考に作られたそうなので、見た目などは似ており、任意のWebサーバで動作する（python -m SimpleHTTPServerでもOK）ように作られています。これの関係でGrafanaを試してみたところ、やはりKibanaも試してみようという意欲がわき1日ぐらいいじってみたのでその比較です。それぞれKibana 3.1.1、Gr

はじめに 今までC/C++に限らずCLIなプログラミングをする時はEmacs + tmux + cmakeとかでほとんど生きてきましたが、ちょっとはいまどきの開発環境を使おうかと思って試した結果の備忘録です。他のIDEはあまり試していませんが、ひとまず手始めにXcodeから手を出してみました。CLI開発でもIDEを使うメリットは以下のとおりです。 構文エラーを即座に表示してくれる。save→画面切り替え→コンパイル→エラー確認→コードに戻るという反復がなくなる 実行もコマンド一つでコンパイル→実行までして表示結果してくれるため動作が少なくてすむ デバッグ時にソースコードと連動して作業できる。gdbのように部分的にではなくソース全体を見ながらデバッガを使える また以下の様なデメリットもあるので、自分の状況にあわせるのが重要です。 学習コスト。例えばキーバインドは慣れ親しんだものに近づけること

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

送信クライアント側の実装 今回はC++で実装しましたが、基本的な手順はどの言語でも共通するはずです。 TCPでforward入力プラグインに接続する 通常のネットワークプログラミングの手順でTCPにソケットで接続する。 C++の場合は以下のとおり。 int connect_tcp(std::string host, std::string port) { struct addrinfo hints; struct addrinfo *result, *rp; int sock; int r; memset(&hints, 0, sizeof(struct addrinfo)); hints.ai_family = AF_UNSPEC; hints.ai_socktype = SOCK_STREAM; hints.ai_flags = 0; hints.ai_protocol = 0; //