矢口です。 みなさんはLinuxのtcという機能をご存知でしょうか。送信するパケットの帯域制御を行うことができる大変強力な機能で、グリーでもいくつかの用途で使用されています。 具体的な事例の一つはRedisです。Redisではreplicationを新規に開始する際やfailoverが発生しmasterが切り替わった際(特に2.6系)にストアされている全データが転送されます。しかし帯域制限をかける機能がないため、ネットワーク帯域を圧迫してしまう危険性があります。また通常のクライアントとの通信でも大量のクエリにより予想以上の帯域を使用してしまう可能性があります。このような場合にtcを用いることでRedisの使用する帯域をコントロールできます。 このように有用なtcですが残念なことに日本語/英語ともにわかりやすい解説や詳細な情報は多くありません。 私も社内において使われていたtcの設定に問題が

Kubernetesのネットワークの構築要件に対して、世の中には様々なアプローチがあります。 本書ではTCP/IPは知っているけれど、Kubernetesのネットワークの実現方法は知らない人向けに、メジャーな実現アプローチについてできるだけ噛み砕いてステップバイステップで体系的に説明します。

2021年時点、Amazonで購入できるLANケーブルのカテゴリ別スペックをまとめました。 使用できるケーブルの長さや、伝送周波数帯域など。上記以外に細かいスペックがカテゴリ別に決められていますが、話を分かりやすくするため要点のみをスペック表に入れています。 基本的にLANケーブルのカテゴリが高いほど、高性能です。インターネットが速くなる、テレワークにおすすめなどとアピールされる傾向が強い「CAT7」だと最大10 Gbpsの通信速度に対応します。 注意点：蛇口が高性能でも元栓がダメなら意味なしカテゴリが高いほど、対応している最大通信速度が高いため、「CAT7以上のLANケーブルならインターネットが速い」と思われがちです。 残念ながら、どれだけLANケーブル（= 蛇口）を高性能にしても、肝心のインターネット回線（= 元栓）の性能が遅いならまったく意味がありません。 日本のインターネット回線は

サイバーセキュリティにおいてLANケーブル(有線LAN)からの侵入について考えたことがあるでしょうか？本稿では、LANケーブルをニッパーで切断してネットワークへ侵入・盗聴した実験結果を紹介します。切断してから何秒で侵入・盗聴できたのでしょうか？ 本記事は、ケーブルを切断してネットワークへ侵入・盗聴されるリスクがある事を知っていただく事を目的としています。 ご自身の環境以外では試さないようお願いします。 なぜLANケーブルからの侵入？ 技術部の安井です。長年制御システムを開発してきた経験から制御システムセキュリティ向上に取り組んでいます。制御システムの業界では、近年外部ネットワークを経由しての侵入や内部に持ち込まれたUSBメモリからの侵入が注目されています。一方で、なぜかネットワークを構成する大きな要素であるLANケーブルや光ケーブルからの侵入への注目度は低いようです。制御システムに関わらず

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ヤフーのプロダクションネットワークの設計・構築・運用を担当している津秦です。 ヤフーではオンプレミスで大量に物理サーバーを導入し、社内向けプライベートクラウドや、データ分析基盤などに利用しております。もちろんそのサーバーを接続するためのネットワークも、自分たちで設計・構築・運用を行っております。 今回はデータセンター内ネットワークの中でも、最近取り入れているClosネットワークというものに着目して、ヤフーのデータセンターネットワークをご紹介したいと思います。 なお、大量に物理サーバーを導入する点では、昨年末に同じくインフラを担当する藤見から、サーバーの調達に関する取り組みを紹介しました。合わせて参照いただければ、ヤフーのインフラ部

※当然ながら、障害発生時はどのグレードでも0bpsになります 「なら専用線選んでおけばいいじゃん」と思うかもしれませんが、費用が圧倒的に違い、同じ帯域なら１段あがるごとに2～10倍ほどになります。たとえば5倍として、ベストエフォート100Mbpsで月額10万円なら、帯域確保は50万円、帯域保証は250万円、専用線は1000万円という差になってしまうでしょう。予算は有限ですから、むやみに高い品質を選んでしまうと帯域がとれないということになります。同じ予算であれば、1Gbpsベストエフォートがよいのか、200Mbps帯域確保がよいのかは場合によって異なるので、適切な選択をするべきです。 そして、ベストエフォートはベストエフォートでも、1Gbpsで100Mbpsしか出ないキャリアもあれば、1Gbpsで900Mbpsくらいを保証しているキャリアもあります。これは概ね値段に比例しますが、つまりベスト

昨年7月末に4年半ほど勤めたDMMを退職しました。 その後はずっと長い夏休みを満喫してたんだけど、元同僚にあやしい取材をされて、記事が出るから宣伝のために退職ブログを書け、とか言われたのですよ。 結局取材記事↓の公開には全然間に合わなかったんだけど、記念に書いたのを公開しときます。 -  「大いにやらかし、飽きたら逃げよ」ー元DMM・個性派おっさんエンジニア 佐々木健のITジョブホッパー道 それと、そろそろちゃんと働かなきゃなあ、とも思うので、何をやってたのか等を含めてまとめておくのも大事よね。 そして、以下に書くことはあくまで個人の感想です。 人によっては同じできごとでも捉え方が全然違ったりするはずなので、書いてあることは全部信じることはせずに、取捨選択をしつつ、裏取りしつつ、用法・用量を守ってお使いください。 なぜDMMに入社したのか？DMMに入社する前は、24時間365日システムを監

2. Introduction • ⼩林 正幸 / Masayuki Kobayashi • LINE株式会社 – IT Service Center – Network dept - Service Network Team • Network Engineer – LINEのプロダクションネットワーク全般の設計・構築 – Peering coordinator@AS38631

Opensource.comは7月16日(米国時間)、「Cheat sheet: Linux networking｜Opensource.com」において、Linuxにおけるネットワーク管理コマンドや設定ファイルの概要をまとめたチートシート「Opensource.com: A Sysadmin’s guide to Networking Cheat Sheet」の公開を伝えた。チートシートはA4で2枚分にまとまっており、ネットワーク管理に必要になる基本的なコマンドの使い方が簡潔にまとまっている。 紹介されている主なコマンドや設定ファイルは次のとおり。

ファーストサーバのZenlogic、ストレージ障害の原因は想定以上の負荷、対策したはずの設定にミスがあったため長期化 ファーストサーバが提供しているホスティングサービス「Zenlogic」は、6月下旬から断続的に生じていたストレージ障害に対応するためのメンテナンスが終了の見通しも立たないほど難航し、結局、メンテナンス開始から3日後の夜にようやくサービスが再開されるという事象を起こしました。 参考：ファーストサーバのレンタルサーバ「Zenlogic」、金曜夜からの全面サービス停止が解けず、いまだ停止中。ストレージ障害のためのメンテナンスで（追記あり） － Publickey サービス再開から約1週間が経過した7月17日、同社はストレージ障害に関する原因およびメンテナンスによるサービス停止が長期化してしまった原因、再発防止策についての報告書を明らかにしました。 報告によると、ストレージ障害の直

Linuxサーバの障害対応で社内で伝統的に使われているテクニック。I/Oで完全にブロックしているポイントを特定するノウハウ。 問題対応のため、怪しいプロセスをstraceしてみる read(2)やwrite(2)でブロックしていることを発見する read(2)やwrite(2)、connect(2)の引数にはファイルディスクリプタ番号がみえる プロセスIDとファイルディスクリプタ番号を使って、/proc//fd/ の中身をみると、ソケットI/Oで刺さっている場合はソケット番号を発見できる netstat からソケット番号でgrepして接続先を発見する [y_uuki@hogehoge ~]$ sudo strace -p 10471 Process 10471 attached - interrupt to quit read(58, <unfinished ...> Process 10

GPUを用いたSSLリバースプロキシの実装について - ゆううきブログ 100Gbpsソフトウェアルータの実現可能性に関する論文 - ゆううきブログ の続きで，最近論文読んだやつのプロジェクトの紹介です． 概要 今の汎用OSは高速なパケットI/Oを考慮してない． 20年前のAPIをそのまま使っている． ネットワークがどんどん高速になっているので，NICとかOSカーネルのパケット処理がボトルネックになってる． (http://news.mynavi.jp/news/2013/04/04/094/index.html) こういうの解決するために既存手法がいろいろある． Linux packet mmap - IwzWiki Linux Kernel Documentation :: networking : packet_mmap.txt DNA (Direct NIC Access) Pac

2. 2Copyright©2017 NTT corp. All Rights Reserved. 諸説あるが、ここでの定義は「部分的な故障を許容するシステム」の事 複数台のコンピュータを接続して信頼性を高めたり データが途中で化けても再送したり訂正したり 一部のコンピュータが突然故障しても引き継いだり 故障を設計の一部に組み込む事が必須となる 分散システムとは 3. 3Copyright©2017 NTT corp. All Rights Reserved. • 世はまさに分散システム戦国時代 • Hadoopを皮切りに次々出てくる巨大分散OSS • シリコンバレーでも分散ミドルウェアベンチャーが多数出現 • 高信頼なシステムを作ろうと思った場合には複数台のマシンによる高可用構成 が前提になる • Google、Facebook、Amazon等はもちろん • 金融、流通などのエンタープラ

はじめに はてなサマーインターン2017の大規模システムコースの成果報告をします。 今年の大規模システムコースではメンターのid:masayoshiさんとid:y_uukiさんの下、自律分散監視システムとそれを利用したネットワークグラフの可視化に取り組みました。自律分散監視システムでは単純なクラスタリングによる死活状況の確認だけではなくアプリケーションレベルの疎通確認を行えるものを実現しました。またどのようにしてクラスタを形成するかという問題に取り組む内に、サービス間のネットワーク上のつながりを取得できるようになり、その情報でサーバー間の関係性の可視化を行いました。この記事では、それらの詳細を説明します。 はじめに 自律監視システムの実現 中央サーバー型の監視システム 自律分散監視システム アプリケーションレベルの相互監視 どうやってクラスタを形成するか？ 実験 ネットワークグラフの可視化

スプラトゥーン2を買ってから主に鮭、時々ガチマで楽しんでいる私だが、先日Twitterにてこのようなツイートを発見し、詳細を調べる内に引用元の記事を発見した。こちらはスプラトゥーン2のオンライン対戦の仕様と、それを理解するための前提知識を非常に詳しく解説した有用な記事である。この記事では、その記事を要約した日本語訳を記載する。 http://archive.today/Rgbht (魚拓版) こちらの記事はCreative Commons Attribution 4.0 International Licenseに則って書かれており、この翻訳記事もこれに従う。 前述のクリエイティブコモンズライセンスに従い、改変を加えた点を示す。原文の翻訳、要約に際し、改変を加えた点は以下の通りである。 一部を除き、箇条書きによる要約を行っている。また中略や原文から記載箇所を変えた記述(後述)、厳密な和訳よ

概要 Dockerのネットワーク周りを勉強していると、 docker0 仮想ブリッジ VXLAN link機能 など色んな要素が出てくるのですが、ちゃんと理解していないとすぐ忘れるため一度しっかり学んでみました。 今回はその時に疑問に思ったことをまとめてみました。 環境 docker 1.11.2 構成 マシン IP 役割 ホスト 192.168.33.10 Dockerホスト docker0 172.17.0.1 仮想ブリッジ nginx1 172.17.0.2 コンテナ１ nginx2 172.17.0.3 コンテナ２ 事前知識 以下の知識があると学ぶ上で非常に助かります。 ブリッジ 第２層でMACアドレスで判別して転送 3 Minutes Networking No.17 ルータ 第３層でIPで判別して転送 3 Minutes Networking No.28 NAT、NAPT、IP