Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Linux技術者認定「LinuC（リナック）」などを実施する特定非営利活動法人エルピーアイジャパンは、実習を通してLinuxサーバー構築の知識を学べる学習用教材「Linuxサーバー構築標準教科書」バージョン4.0.0の公開を発表しました。 「Linuxサーバー構築標準教科書」はクリエイティブ・コモンズ・パブリック・ライセンス「表示 - 非営利 - 改変禁止 4.0 国際 （CC BY-NC-ND 4.0）」の下で公開されており、PDF版とEPUB版は無料でダウンロード可能です（Kindle版と製本版は有料で提供されています）。 独学で読み進められサーバの動作原理やプロトコルを理解 Linuxサーバー構築標準教科書の内容は現時点（2024年2月）で最新のLinuxディストリビューションであるAlmaLinux 9.3、すなわちRed Hat Enterprise Linux 9.3系を前提と

top コマンドは CPU/メモリの利用状態を全体、および各プロセスごとに確認することができます。 例えば以下のように表示されます。表示は 3 秒ごとに更新されます。 top - 00:47:32 up 2:37, 2 users, load average: 3.01, 1.52, 0.47 Tasks: 118 total, 2 running, 116 sleeping, 0 stopped, 0 zombie %Cpu(s): 12.5 us, 6.9 sy, 0.0 ni, 99.7 id, 0.3 wa, 0.0 hi, 0.0 si, 0.0 st MiB Mem : 3736.1 total, 297.6 free, 235.2 used, 3203.3 buff/cache MiB Swap: 820.0 total, 812.5 free, 7.5 used. 3267

Is there any way to measure a specific process CPU usage by cores? I know top is good for measuring the whole system's CPU usage by cores and taskset can provide information about which CPU core is allowed for the process to run on. But how do I measure a specific process' CPU usage by CPU cores?

Linux システムコールについて調べたことをまとめる。システムコールの仕組みを理解すると、 OS とアプリケーションがどのように連携して動いているのかを理解できるようになります。 システムコールは CPU に依存する処理が多いため、 x86_64 に絞ります。 検証環境]# cat /etc/redhat-release CentOS Linux release 8.0.1905 (Core) ]# uname -a Linux localhost.localdomain 4.18.0-80.11.2.el8_0.x86_64 #1 SMP Tue Sep 24 11:32:19 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux ]# cat /proc/cpuinfo | head processor : 0 vendor_id : GenuineInte

Alder Lake以降のIntel CPUでは、P-coreとE-coreの2種類のコアが搭載されている。 P-coreは性能重視、E-coreは省電力重視という位置づけで、OSがうまくこれらのコアを使い分けることで、消費電力と性能の両立が図られている。 ここまでの話は広く知られているが、実際にどのようにしてOSに対してコアの使い分けをさせているのかの実装レベルでの解説は (少なくとも日本語では) ほぼ存在しないようなので調べてみた。 OSから見たP-coreとE-core OSの役割の一つとしてプロセススケジューリングがあり、どのプロセスをいつどれぐらいの期間どのCPUコアで実行するかを決める。OSができるだけ効率よくプロセスをスケジューリングするためには、CPUコアの性能や消費電力の違いを考慮したスケジューリングが必要になる。そこで、Intel CPUではOSに対して次の2つの情報を

すべてがファイルというモデルの Linux (Unix) において、ファイル I/O (以降単に I/O と書く) を知っておいて損はない。 この記事では、基本的なファイルと関連する I/O について、対応する Linux システムコールも併せて説明する。 次回はこれらを実際に Linux 上で確認する予定。 ファイル Unix におけるファイルとは、普通「通常ファイル」のことを指し、バイトがリニアに並んだデータ (byte stream) のことである。 ファイル内のバイトは読み書きが可能で、指定されたバイトから開始する。この開始バイトはファイル内の「位置」と考えることができ、ファイルポジションまたはファイルオフセットという。 通常ファイルとは別に、スペシャルファイルというファイルとして表現されたカーネルオブジェクトがある。Linux では、スペシャルファイルとしてデバイスノード・名前付

CPU Steal Time に関しては、多くの誤解が広がっているように思えます。例えば、同一ホスト上で稼働する他の VM が、本来自分に割り当てられるべきCPUリソースを盗んだ量を示すメトリクスだとか、CPUリソースの取り合いが発生していることを示すメトリクスだとか、など。設定などによっては、仮想環境側が CPU リソースを過剰に割り当ててしまう傾向にあるのは事実なのですが、CPU Steal Time を見るだけでは端的に "盗まれた" などという結論にいたることはできません。 CPU Steal Time とは、仮想マシンが割り当てられる CPU リソース以上のパフォーマンスを発揮しようとしている分を 計上したメトリクスであると言えます。本来であれば、Steal Timeという名前ではなくて、kernel/sched/cputime.cにのコメントにあるように、involuntary

森若です。 2021年11月4日Red Hat Enterprise Linux 9.0 Betaが出たので情報まとめです。 RHEL 8と同じく、以下4種類のアーキテクチャに対応しています。 Intel/AMD64 (x86_64) ARM 64-bit (aarch64) IBM Power LE (ppc64le) IBM Z (s390x) 公式のアナウンスはこちらです。 www.redhat.com 主な特徴 RHEL 8.5 betaと比較すると、以下が大きな違いでしょうか。 OpenSSL 3が使われている cgroup v2がデフォルト LTO(Link TIme Optimization)が有効 Python 3.9 SSHでrootユーザに対してパスワード認証が不可になっている (従来もdeprecatedだった)network-scriptsが削除 もちろんその他のデ

レッドハットの森若です。 Red Hat Enterprise Linux 8.2もでて、「そろそろRHEL8を使ってみようかな」という人も増えてきたのではないかと思います。 RHEL 8 ではアプリケーションストリームが導入されていますから、一部パッケージは10年の標準的なライフサイクルではなく、2年から5年程度の短い期間だけ維持されます。 ではどのパッケージがいつまでサポートされるのでしょうか? この記事ではその調べ方をご紹介します。 その前にまず2点ほど前提知識をご紹介します。 Compatibility Level Red Hat Enterprise Linux では、RHEL5の頃から Application Compatibility Guideを公開し、各パッケージについての互換性維持を4段階のレベルに分けています。 RHEL 7までは、以下のようになっていました。 Com

レッドハットの森若です。 この記事は、RHEL 8むけの以下記事のRHEL9版です。 rheb.hatenablog.com RHEL 9ではどのパッケージがいつまでサポートされるのでしょうか? この記事ではその調べ方をご紹介します。 (※注意: サポート期間等は変更される場合があります。スクリーンショット等は執筆時点のものです。) その前にまず2点ほど前提知識をご紹介します。 Compatibility Level Red Hat Enterprise Linux では、RHEL5の頃から Application Compatibility Guideを公開して、アプリケーションの互換性を維持するために 考慮する必要があるポイントをまとめています。この中で各パッケージについての互換性維持を4段階のレベル(Compatibility Level, 以下 CL)に分けています。 RHEL 9

概要 マルチプロセスでレスポンスの処理を行う（1リクエストにつき1プロセスがレスポンスの処理を行う）PythonのWEBフレームワーク[1]でAPIサーバーを実装している際、各プロセスから一つのファイルにログを書き出しても、行が上書きされる・順番が前後するといった不整合がおきないのか、という疑問がわきました。（ファイルは各プロセスで独立にopenするものとします。） Pythonのロギングに関する公式ドキュメントには、「複数プロセスから1ファイルへのロギングはサポートしていないから別の方法で工夫しろ」と書いてあるのですが、別の記事では「書き込むログの長さが短ければ不整合はおきない」と記述されていたり、よくわからなくなったので自分で調べてみました。 結論としては、Python標準のloggingモジュールでログの長さが2,147,479,552(=0x7ffff000)バイト以下なら「原子性

近年は動画ストリーミングサービスの利用者が増加しており、インターネットトラフィックの大部分を占めていると指摘されています。世界最大級の動画ストリーミングサービスであるNetflixが、日々大量のデータを全世界のユーザーに送信するためにどのような工夫を凝らしているのかを説明するスライドを公開しています。 2022-Streaming-Summit-Netflix.pdf (PDFファイル)http://nabstreamingsummit.com/wp-content/uploads/2022/05/2022-Streaming-Summit-Netflix.pdf Netflixは800Gb/sもの動画データを1つのサーバーで送信するシステムの構築を目指し、長い道のりを歩んできました。 Netflixのワークロードでは、動画を「静的メディアファイル」として送信しており、すべてのコーデック／

自分が書いたプログラムのメモリ使用量を測定したいことがある。プログラムがOOM Killerによってお亡くなりになった場合や、ページフォルトをなくして高速化したい場合などだ。定常的に起動するサーバーのプログラムなら、sarや meminfo など（今なら Datadog とかだろうか）を使ってじーっと見つめるわけだ。もっとモダンにやるなら perf や DTrace を使ってもよいかもしれない。しかしこれらのツールは基本的にプロセスIDを渡してサンプリングして外から覗く方法だ。 わたしのユースケースはデーモンプロセスではなく、 main から入って必要な計算をして、それが終わったら main を抜けるバッチジョブ（単にコンソールから実行して終わるまで待つ、いわゆる "Hello world!" 的なやつ）だ。これだと、プログラムが起動して終わるまでそこそこの時間で終わってしまって、外部プロ

最初に断っておくと今回は万人向けの記事ではないです。面白かったので自分が忘れないようにまとめているだけです。 本記事の位置付け はじめに 発見経緯 CRCのエラー HTTPアクセスログ 壊れたgzipのtrailerを見てみる 壊れたファイルの法則性 月次ログファイルの生成 Linuxカーネルのバグの可能性 バグ混入の歴史 ログ破損の原因 8バイトの謎 PoCの制約 まとめ 本記事の位置付け Dirty Pipe（CVE-2022-0847）三部作の最後です。ダークナイト三部作で言うとダークナイト ライジングにあたります。ダーティとダークって似てませんか。 spliceを使って高速・省メモリでGzipからZIPを作る 20分で分かるDirty Pipe（CVE-2022-0847） Dirty Pipe（CVE-2022-0847）の発見経緯が面白かった（本記事） 上の1, 2を前提知識と

社内 slack で prlimit の話題があがったので、どういうもんだったかと調べた prlimit(2) システムコール 任意の pid のリソースリミットを変更するシステムコールである。 ulimit, setrlimit, getrlimit, /proc/$pid/limits, /etc/security/limits.conf, pam_imits.so ... と関連キーワードを並べると「ああ、リソースリミットって あれ のことですね」と分かるよね #include <sys/time.h> #include <sys/resource.h> int prlimit(pid_t pid, int resource, const struct rlimit *new_limit, struct rlimit *old_limit); 一見、複雑そうなインタフェースに見えるが