はじめに 本記事は電子書籍版もあります。 linuxカーネルはC言語のマクロを駆使して書かれています。それらのうち、凝ったマクロになじみの無い人には初見では意図がわからない&わかってみれば面白いであろうものをいくつか紹介いたします。対象読者は、C言語のユーザだけれども、マクロは定数定義くらいにしか使わないというライトなマクロユーザです。 マクロを使用する場所に依存するエラーを防ぐ 次のマクロは、二つの引き数の値を置換するだけの単純なものです。 #define swap(a, b) \ do { typeof(a) __tmp = (a); (a) = (b); (b) = __tmp; } while (0) 注目すべきはマクロの定義全体を囲んでいるdo { ... } while (0)という表記です。初見の人には何のことかわからないと思います。考えられる最も単純な定義から遡って、なぜこ

Hacker Tackle 2018 発表資料

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Linuxの安定カーネルのとりまとめ役、グレッグ・クラーハートマンによるメルトダウンとスペクター問題に関する1/6時点での現況の説明の訳文です。 太字は訳者が主観で独自に付加したものです。 2018/1/19: 対応状況がGreg氏によりアップデートされましたので、追記しました。 ライセンス 原文は当人のブログでby-nc-sa3.0で公開されています。 この文章のライセンスも原文に準じます。 謝辞 何よりもまず多忙な中情報をシェアしてくれた原著者のGreg氏に。 表記間違いについて指摘ありがとうございます。以下修正しました。

いろいろな環境で動くプログラムでは互換性のためにその場しのぎのことをしないといけないことがよくあるけど、歴史が積み重なってくると、アドホックな技の上にアドホックな技が積み上がる喜劇的な状態になることがある。こういう問題は認識するのは簡単だが直すことは誰にもできない。まさに僕がそのような体験をしたのでちょっと説明したい。 僕は仕事としてオープンソースのlldというリンカを書いている。リンカというのはコンパイラが生成したバイナリファイルをつなぎ合わせて最終的な実行ファイルやDLLを作成するプログラムで、知らない人も多いと思うけど、何をコンパイルしても最後にはリンカが動いている。lldは既存プログラムより何倍も速くてビルドが早くなるというので最近は結構人気が高まっていて、FreeBSDなどのいくつかのOSが全面的にスイッチしようとしたり、あるいは大規模プロジェクト（Chromeや、どうもFire

この記事について LinuxのIPC（プロセス間通信）を紹介します。 プロセス間通信とは Inter Process Communication(IPC)はプログラムの実行単位であるプロセスの間で行われるデータ交換のことを指します。プロセスの依存関係は可能な限り疎結合になるようOSで管理されています。そのため、IPCはLinux OSの機能を経由して行う必要があります。 OSがプロセスに提供するデータ交換の方法はひとつだけではありません。それぞれ特徴のある多彩な方法を提供しています。 ここで紹介するのは以下の5つです。 共有メモリー セマフォ マップドメモリー パイプ ソケット通信 （他にありましたらコメントで教えていただければ幸いです。） それでは、見ていきましょう。 共有メモリ プロセス間で同じメモリを共有します。 共有メモリの最大の利点はそのアクセススピードにあります。 一度共有メモ

July Tech Festa 2017 の講演資料です。 参考となる情報にはPDF中からリンクをしていますが、資料中のリンクは Speaker Deck 上ではクリックできないので PDF をダウンロードしてご覧ください。

追記 直近の Docker 界隈について Linux コンテナ 参考 Linux コンテナとは Linux コンテナを構成する主な機能 OS リソース毎の Namespace cgroup サブシステム こんなにざっくりでは、Linux コンテナは語れないと思うけど haconiwa haconiwa とは haconiwa で何が出来ると？ haconiwa 導入 はじめての haconiwa (1) はじめての haconiwa (2) 〜 コンテナ作成 〜 はじめての haconiwa (3) 〜 コンテナ起動 〜 haconiwa で学ぶ Linux コンテナ .haco ファイル再掲 namespace を弄る前に namespace uts namespace pid 俺は Linux コンテナについてなんにも解っていなかった(まとめ) haconiwa は Linux コンテ

以前に私が書いた「 Dockerの本番運用：失敗の歴史) 」という記事は、非常に多くの反響を呼びました。 その後、長い議論を交わして、何百件ものフィードバックや何千件ものコメントを読み、さまざまな人々や主要事業者とも顔を合わせました。Dockerでの試みが増えるほど、その失敗談は増えていきます。そうした現状を、今回アップデートしておきたいと思います。 この記事では、最近の交流や記事から得た教訓を紹介しますが、その前に簡単におさらいをして軽く背景を説明しましょう。 免責事項：対象読者 たくさんのコメントから、世の中には10種類の人々が存在するということが明らかになりました。 1) アマチュア 実際のユーザがいない試用版のプロジェクトやサイドプロジェクトを実行している人々です。Ubuntuのベータ版を使用するのが当然だと考えており、「安定したもの」は古いものと見なすようなタイプです。 注釈：書

はじめに BPFの基礎 BPFの構造 BPFでのフィルタリング レジスタマシン LinuxでのBPF BPFを利用したパケットフィルタリング libpcapとBPF ここまでのまとめ 参考文献 その他参考URL はじめに BPFはBerkeley Packet Filterの略で，1993年に効率的なパケットフィルタリング手法として提案されました[1] *1． BPFの構成要素は大きく2つあって，一つがネットワークからパケットをキャプチャする部分，そしてもう一つがキャプチャした パケットをフィルタリングする部分です．BPFといった場合，後者のフィルタリング機構だけを指すことも多いです． FreeBSDなどのBSD系のOSでは/dev/bpf*という特別なデバイスがあって，このBPFを利用することができます．また， Linuxでもパケットフィルタリング（Linux Sokcet Filter

本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を

VMMの高速化について学ぶ過程でKVMのコードを読んだので、 メモ代わりに内部構造の解説記事を書きました。 KVMはqemuと連携して動作するため、以前私が書いたQEMU internals( http://rkx1209.hatenablog.com/entry/2015/11/15/214404 ) も合わせてご参照ください。また本記事はある程度システムプログラムに慣れており、 VT-xや仮想化の基本アーキテクチャは知っている物として進めます。 1.qemu-kvm,kvmの初期化 では早速見て行きましょう。まずはKVMの初期化の入り口となるqemu-kvmサイドから見ていきます。(ちなみに現在qemu-kvmはqemu本家に統合されておりconfigを変えることでkvmを有効化する仕様になっています) qemuは/dev/kvmを通してKVMとやり取りを行います。全体的なアーキテクチ

Windows で作成された ZIP が Linux とか Mac OS で解凍すると文字化けする問題。確実なのは Wine 経由で 7-Zip などの Windows 用アーカイバを使うことなんだけど、「Wine をインストールできない」という状況に置かれた場合を想定してみた。 unzip や 7z などを使って解凍する場合、LANG の値によって展開のされ方が異なるので LANG=C を忘れずに設定しておく。トップディレクトリが文字化けしていると困るので親ディレクトリを用意する。 （unzip の場合、アーカイブによっては LANG=ja_JP.UTF-8 のときに正しい名前で解凍できることもあるので LANG=C が悪影響を及ぼすことがある） # unzip LANG=C unzip -d tmp ARCHIVE.zip # 7z LANG=C 7z x -otmp ARCHIVE.

Ping of Death攻撃と対策 Ping of Death（ピング オブ デス〈PoD〉）攻撃とは、サイズの大きなPingを受け取るとサーバが停止するというバグを利用した攻撃です。Pingとはサーバの動作を確認する際に利用されます。 最新のディストリビューションでは対策が取られており、実害が出ることは稀ですが、攻撃する意図を持ったIPを特定するという意味でログファイルへ記録します。 今回は設定以上のサイズを持つPingを拒否することで対策を取ります。通常pingのサイズはWindowsであれば32バイトで、linuxであれば56バイトです。 実際にはICMPのヘッダ（8バイト）やTCPのヘッダー（20バイト）が付くので、84バイトになります。そこで85バイト以上のPingを破棄します。 この辺から複雑になってきますが、1つ1つの要素に分解すると簡単です。 # Ping攻撃対策 ipt

Linuxはサンバ（Samba）で踊る――WindowsとLinuxのファイル共有のいま：その知識、ホントに正しい？ Windowsにまつわる都市伝説（25）（1/2 ページ） 前回は、ネットワーク上を流れるパケットをキャプチャすることで、同じまたは異なるバージョンのWindows間のSMBネゴシエーションの様子を明らかにしました。今回は、同じ方法でWindowsとLinux間のSMBファイル共有の様子をのぞいてみましょう。 連載目次 LinuxにおけるMS-SMB2（SMB2／SMB3）への対応は着々と 前回（ファイル共有プロトコル、SMBとCIFSの違いを正しく理解できていますか？）までの話で「Server Message Block（SMB）」と「Common Internet File System（CIFS）」の関係については、理解していただけたと思います。 おさらいしておくと、

This document is the basic introduction to Btrfs, the next generation linux file system. It covers Btrfs's basic concept and important features. It contains many figures to make it easy for readers to understand this file system.Read less

Tats Shibata (柴田竜典, シバタツ) has 20+ years of experience in database technology, performance engineering, and pre-sales. As a Senior Manager and Head of Japan Data Solutions Architecture at Amazon Web Services Japan, he leads a team of database and analytics technical experts who provide solution architecting for AWS customers across various industries.

学生時代、田舎に住んでいるとテレビよりなにより都会のラジオ番組の幅広さに憧れたりしたものである。 今じゃ Radiko というのもあって、条件さえそれなりに揃えられれば田舎に住んでいるまま都会のラジオをエアチェックできるようになった。ああ、もちろん私的利用の範囲内で。 首都圏はいまや AM ラジオも Radiko 経由で聴くとステレオで聴けるようになっている。Podcast 配信されているものはわざわざモノラルに落としているとか。いやー同じ番組でもそんなに地域格差があるもんなのね。 ただし、条件を揃えるにはそれなりの幸運か費用が必要になるのだけれども (後述)、条件を揃えていなくとも普通に地元のラジオをエアチェックするのに役立つハナシのハズなので落胆なさらずに。 これまでは Windows の.NET アプリである Radika というものをとても便利に使わせていただいていたのだけれど、こ

Galaxy Sの母艦OSとしてLinuxを整備しようとしましたが、インストールするPCが用意出来なったため、Linux ブートUSBメモリを作成し、USBメモリから Linux をブート出来るようにしてみました。 VMware を使って Linux を起動する方法もありますが、USBメモリからブートさせる事で必要な時に空いているPCを使う事が出来ます。 ノートPCを使う場合はCDドライブの準備の必要がありUSBメモリから起動出来るようになれば活用範囲は広がると思います。 LinuxのUSBブートの起動メディアを作成するには、Linuxのインストール先をUSBメモリにすることで作成出来ます。 USBにインストールする方法については、Ubuntu Tips/USB デバイスへのインストール/Ubuntu をUSBストレージ（USBメモリ・HDDなど）にインストールするには (Ubuntu J