Connecting two processes at TCP/IP level might seem scary at first, but in Go it is easier than one might think. While preparing another blog post, I realized that the networking part of the code was quickly becoming larger than the part of the code that was meant to illustrate the topic of the post. So I decided to write one blog post entirely about how to send data from process A to process B ov

August 29, 2016 - golang ※2016-09-05追記: 本記事の対策では不備があるためRe: Goの通信経路選択(net.LookupIP & net.Dial)に続編書きました。 GoのHTTP通信経路選択の挙動について腑に落ちない点があり、net.LookupIP/net.Dialの仕様とそれに伴い生じる接続経路の選択問題、そしてその対策について調べてみました。 TL;DR unix環境におけるGoの名前解決まわりの仕様 net.LookupIPはDNSから取得できたアドレスリストをそのまま返すわけではない 内部ネットワーク間の接続であれば接続元と接続先がビット列的に近いものを優先したアドレスリストを返す net.Dialはnet.LookupIPがかえすアドレスリストの先頭から接続を試みる その後、最初に接続が成功したものとのみ通信を行う DNSラウンドロビン

ソフトウェア割り込みが偏る？ Linuxを利用していて、ネットワーク負荷が高いサーバを運用していると、特定のCPU負荷が高くなっている事があるのですが、そのようなケースを経験されたことはないでしょうか？ topでみると特定CPU(topを起動して1を押すとCPU単位で確認できる)の**%si(software interrupt)がやたら高くなっている場合、それはネットワークの負荷が原因かも知れません。(実際のtopを貼り付けたかったのですが、持ち合わせがなかった・・・。)何も設定していない場合はネットワークの割り込みは特定のCPUで行われるため、ネットワークの割り込みに関連づいたCPUの%siが高くなります。ソフトウェア割り込みを確認するには、/proc/interrupts**を確認しましょう。 # cat /proc/interrupts CPU0 CPU1 CPU2 CPU3 0:

サーバの上で、どんなコンテナが動いているかを把握するのは大変ではないでしょうか。自分だけの環境ならまだしも、複数台のサーバ環境を見なくてはいけない場合は面倒。特に複雑にリンクしている場合や、グループやチーム内で共有している環境では、誰が何を立ちあげているのか確認するだけでも一苦労。 その問題を解決するのが、Weave Scope というツール。最近使う機会がありましたので、内容を軽く共有します。 ■ Weave ？ Weave（http://weave.works/）という、Weaveworks 社が公開しているオープンソースのプロジェクトがあります。先月 Weave 1.0 としてリリースされました。これは Docker コンテナのネットワークを拡張するプラグイン機能であり、全体として３つのモジュールで構成されています（正確には、それぞれがコマンドラインのツールですが、一体的に運用しても

こんにちは、眠気の向こう側の高揚感を大事にしたい、せーのです。 Private Subnetにインスタンスを立てる時にインターネットとの接続をするためにNATを立てますが、NATは単一障害点になるので、冗長化を図り、高可用性を保つようにします。 この高可用性を保つ構成が今まで色々考えられてきました。今回はre:Invent 2014にて紹介された最新のHigh Availability NATパターンをご紹介します。 今までのHA NATパターン HA NATのキホンと言えばCDPにもなっているHigh Availability NATパターンになります。弊社のブログにも紹介されていますね。この形です。 ではメインで使っていたNATに障害が起きた時の切り替えは具体的にどうするのでしょう。一般的にはスクリプトを組んで仕込んでおきます。NAT1に向けているRoute TableとNAT2に向け

RHEL7RC+EPEL版Dockerの前提で解説します。RHEL7RCを最小構成で入れて、次の手順でDockerを導入します。 # yum -y install bridge-utils net-tools # yum -y install http://download.fedoraproject.org/pub/epel/beta/7/x86_64/epel-release-7-0.1.noarch.rpm # yum -y install docker-io # systemctl enable docker.serviceDockerが設定するiptablesの内容を見るために（見やすくするために）、firewalldを停止した上でdockerサービスを起動します。 # systemctl stop firewalld.service # systemctl mask firew

Network monitoring on Linux This post mentions some linux command line tools that can be used to monitor the network usage. These tools monitor the traffic flowing through network interfaces and measure the speed at which data is currently being transferred. Incoming and outgoing traffic is shown separately. Some of the commands, show the bandwidth used by individual processes. This makes it easy

興味をそそられたので読んでみました。 インフラ/ネットワークエンジニアのためのネットワーク技術&設計入門 作者: みやたひろし出版社/メーカー: SBクリエイティブ発売日: 2013/12/27メディア: 大型本この商品を含むブログ (4件) を見る 本書の内容は、ネットワークの物理的なレイヤーから、ネットワークプロトコルの概要、セキュリティ(主にSSL)や負荷分散や可用性の確保など、幅広い内容に及んでおり、それぞれの分野が網羅的に書かれています。各技術についても、すぐに古くなりがちな個別の実装の詳細に入るのではなく、プロトコルや設計ポリシーなど基礎的、基本的なところがしっかりと記述されており読み応えがあり、また数年単位で長持ちする知識が得られます。 例えば、第1章の「物理設計」では、機能分散や冗長化まで考慮された、具体的な機器の構成例まで図にしてあり参考になりますし、機種選定の方針までも

2013.4.20 追記 CNAMEの間違った使い方を書いていたので、「3. DNSレコードでCNAMEやAレコードを設定する」の項を一部修正しました。 というか、実際に痛い目に遭いました・・・(T T)。 詳しくは本文にて。 2014.10.10 追記 結局Herokuでは「Aレコード + ネイキッドドメイン」の設定を使うことはできなくなりました。 ネイキッドドメインを使う場合は、かわりに「CNAME flattening」という仕組みを使います。 詳しくは以下の記事で説明しているので、参考にしてみてください。 妻のパン屋のwebサイトをいろいろ更新した話 ～Rails 4アップデートとかサイトの高速化とか～ - give IT a try はじめに みなさん、DNS、ネームサーバー(NS)、Aレコード、CNAME、と言われて、「ああ、アレね」ってすぐに頭の中にイメージが浮かびますか？

こんどは違うコミュニティに属する（と思われる）人々を種にして、うまくクラスタを分割できるか試してみる。 account <- c("kazuyo_k", #勝間和代 "kohmi", #広瀬香美 "takapon_jp", #堀江貴文 "hmikitani", #三木谷浩史 "kirakira954", #TBSキラキラ "shakase", #水道橋博士（TBSキラキラ） "senochin", #妹尾匡夫（TBSウィークエンドシャッフル） "2dawn", #古川耕（TBSウィークエンドシャッフル） "room66plus", #高橋幸宏 "skmt09", #坂本龍一 "HikaruIjuin", #伊集院光 "Kitsch_Matsuo") #松尾貴史 想定したのは、カツマー、IT長者、TBSラジオ「キラキラ」、TBSラジオ「ウィークエンドシャッフル」、YMO周辺、お笑い、の６クラ

割と長い間ネットワークに携わってる人と話していて、その人がボンディングの存在を知らなかったので、もしかして知られていないのではないかと思ったので紹介してみます。 Linuxでは、ボンディング（bonding）を使うことでNICの冗長化、負荷分散ができます。ケーブルが断線したり、間違えて抜いてしまったなんてことがあったとしても大丈夫です。 このボンディングはNICを複数束ねて使うことで、1個のチャンネルにすることができます。異なるベンダーのNICとかでも大丈夫ですよ。（bondingは機能の名称で、束ねることはteamingとも言うらしい） 異なるスイッチ（更に、その上に異なるルーターとか）なんかにつなぐと、更に冗長化ですよ。 当たり前ですが、NICは2個以上消費します。 /etc/sysconfig/network-scripts/ifcfg-bond0 を作成 DEVICE=bond0

2009-08-02 15:10:00 iPhone使わない方法を追記 iPhoneを色々いじってる過程でやってみたら出来たのでメモ。さほど悪い事は出来ないと思うけど、色々自己責任で。 iPhoneとSBMガラケーでは全く別のネットワークを使用しているため、通常iPhoneからは公式サイトやIPでアクセス制限をかけてる勝手サイトは見る事が出来ない。特に見る必要も無いのだが、実験としてやってみた。 iPhoneは通常 "smile.world" というAPNに接続している。一方、ガラケーはググって見たところ "mailwebservice.softbank.ne.jp" というAPNに接続しているらしい。っと言うことは、iPhoneの接続先をこれに変えてしまえばiPhoneもSBMガラケー側のネットワークに入れる・・・はず。 用意するモノ 香港版 or SIMUnlock済みの iPhone

インターネットは、TCP/IPというプロトコルを基盤とするコンピュータネットワークである。これからTCP/IPについて復習していくわけだが、まずは基礎的な用語とその概念を復習しよう。 インターネットを支えるTCP/IP いまやインターネットは、テレビや電話、新聞などと並ぶメジャーな媒体に数えられるようになった。この巨大なインターネットを下から支えているのが「TCP/IP」と呼ばれるプロトコル群である。 そもそも「プロトコル（protocol）」とは、ものごとの作法や手続きを明示的に取り決めて文書化したものだ。特にコンピュータネットワークの世界では、コンピュータ同士のデータのやり取りの方法を厳格に定めた規格（規約）のことを指す。コンピュータはプログラムに従って動作する機械であるため、厳密な取り決めがなければ複数のコンピュータを協調して動かすというのは難しい。 TCP/IPも、そのようなプロト

レイヤを問わず (ethernet から HTTP や SMTP まで) 、ネットワーク絡みのトラブルシューティングや挙動の確認をするときにパケットの流れが見られると非常に有益です。 開眼すると「パケットの流れが目で見える」そうですが、私などはまだまだ修行が足りず裸眼では見えないので、tcpdump というツールを使って見ています。 tcpdump はその名前があまりよくないと私は思っていて、"tcp" だけでなく udp やICMP や ethernet フレームまで覗ける超強力ツールです。 というわけで tcpdump の簡単な説明を書いてみます。 tcpdumpについて tcpdump は UNIX 系の OS で使えるツールなのですが、Windows 用にはWinDumpという CUI のツールがあり、tcpdump と同じように使えます。 GUI がお好みの方は、後でも紹介するE