はじめに 技術顧問のsatです。前回に引き続き、EPYCマシンの検証についての話をします。手元のEPYCマシン(Super Micro AS-1023US-TR4)はNUMAアーキテクチャ(後述)を採用してます。今回はこのマシンにおけるNUMAノードをまたいだメモリアクセスに関するデータを採取しましたので、その結果をお伝えします。 NUMAについて知っているかた向けの結論 2CPUパッケージから成るEPYCマシンにおいては、CPUパッケージごとに4つのノード、合計8つのノードがある 同じCPUパッケージ上のリモートノード上のメモリへのアクセス速度はローカルノード上のメモリへのアクセス速度に比べて1.7倍程度遅い 別のCPUパッケージ上のリモートノード上のメモリへのアクセス速度はローカルノード上のメモリへのアクセス速度に比べて3.3倍程度遅い (記事では省略したが)"numactl --in

NUMAについてしょっちゅう調べては忘れているのでまとめておくことにした。 全般的にFrank Denneman氏のブログを大変参考にさせてもらった。 NUMAとは NUMA (Non-Uniform Memory Access) は、共有メモリ型マルチプロセッサコンピュータシステムのアーキテクチャのひとつ。 プロセッサとメモリの対 (これをノードと呼ぶ) が複数存在し、それらをインターコネクトで接続したものがNUMAと定義される。 共有メモリ型であるので各プロセッサが全ノードのメモリを利用可能である必要があるが、あるプロセッサから見て同一ノードのメモリをローカルメモリ、他ノードのメモリをリモートメモリと呼ぶ。 ローカルメモリへのアクセスは低レイテンシ、高パフォーマンスであり、リモートメモリへのアクセスは高レイテンシ、低パフォーマンスとなる。 ほとんどのアプリケーションでメモリアクセスはあ

こんにちは。来週末久しぶりに100kmマラソンを走ります。y-meguro です。 この記事は「#しがないラジオ Advent Calendar 2019」6日目の記事です。 ポッドキャスト「[しがないラジオ](https://shiganai.org/)」のアドベントカレンダーです！ ## どんなブログエントリを書けばいい？ - 下記のテーマ例を参考に、フリーテーマでご自由にどうぞ！ - しがないラジオについて - 転職/転職活動した話 - 楽しく仕事をするためのアドバイス - IT業界論、SIer論 - 2019年に頑張ったこと ## 過去のAdvent Calendar [#しがないラジオ Advent Calendar 2018 - Adventar](https://adventar.org/calendars/2927) [しがないラジオ Advent Calendar 201

概要 どうも。はにです。あまり専門ではないのでわかりませんが、双極性障害なんじゃないかと思いこむこの頃です。 さて、私はあるサービスを運用しています。ところが、現在はサービスのプロセスが仮想マシン上でぐちゃぐちゃして稼動しているのでいろいろな意味でよくないです。だから整理する方法を考えています。 んで、見つけたのが『rcon』。 プロセスのi/oやCPUを制限できるらしいです。メンテされておらず、動くか怪しいので検証してみます。 環境 Ubuntu 16.04 導入 apt install rake bison flex libpam-dev git clone https://github.com/matsumotory/rcon cd rcon #ビルド rake

東大の情報科学科では3年の秋学期にCPU実験という、自分たちでCPU、コンパイラ、シミュレーターを作ってレイトレーシングを動かすことが単位要件の名物実験があります。僕らの班では12月初旬に単位要件を満たすCPUは出来ていたので、2/20にあった成果報告会までの間にIwashi班という自作CPU上でlinuxを動かすことを目標とした余興班を作ってこのエントリのタイトルにあるような結果に終わったのでその報告をしたいと思います。 コンテキストスイッチしている画像: 目次 目次 対象とする読者 自己紹介 できたこととできなかったこと 技術的な詳細 ISA よかったところ 悪かったところ 結論 ステート管理 Floating point UART 自作OS/Shellの仕様 動機 やること 実装方針 増えるレジスタ 増える命令 MMUの挙動 タイマ割り込みの挙動 iretの挙動 Kernelの実装

「カーネルのコードがよくわからない。Linuxカーネルに関する本を読んでもいまいちしっくりこない。」 から、「読めば理解できそう..!」 になるまでにやったことのまとめ。 はじめに 低レイヤの話がわかるようになりたかった。 カーネルの中身が知りたかった。 とりあえず本を読もうと思い詳解 Linuxカーネル 第3版を読んだが知識がなさ過ぎてよくわからない。 知らない用語だらけで都度調べればなんとなくはわかる気もするが、いまいち頭に入ってこない。 今思うとそもそもCPUの話なのかカーネルの話なのかさえよくわからない状態で読んでいたような気がする。 そんな状態を克服するためにやったことをまとめておく。 学習前 学習前の自分の知識はこんな感じだった。 知っていた データ構造とアルゴリズム 論理回路 C言語（研究室で数値計算に使える程度。構造体やポインタくらいならわかる。） よく知らなかった OSが

はじめに 【2022/02/03追記】 Twitterで、1バイトは何ビットかというのが話題に上り、この記事も急に参照されるようになりました。 話題になることで識者の方々から私自身も知らない知識を得ることが出来ました。 最終的には、ITmedia NEWSの大原雄介さんの下記の素晴らしい記事が産まれることになったので良かったです。 1バイトの定義 なぜ、1バイトは8bitになったのだろうという疑問から調べはじめました。 昔は4bitのCPUがあったわけだし、その時も1バイトが8bitなのか4bitではないのか？という疑問がわいたわけです。 結論から書くと当時4bitのCPUの場合、1バイトは4bitだったわけです。 とはいえ、CPUの値がそのまま1バイトになるわけではないです｡ 1bit CPU はできるのか？によると 長い歴史の中で、CPUのbit長はALU長でもなくアドレスバス長でもな

Redisは多彩なデータ構造をもつ1インメモリDBであり、昨今のWebアプリケーションのデータストアの一つとして、広く利用されている。 しかし、一方で、性能改善のための手法を体系的にまとめた資料が見当たらないと感じていた。 実際、最初にCPU負荷が問題になったときにどうしたものかと悩み、調査と試行錯誤を繰り返した。 そこで、この記事では、自分の経験を基に、RedisサーバのCPU負荷対策を「CPU負荷削減」「スケールアップ」「スケールアウト」に分類し、パターンとしてまとめる。 背景 RedisのCPU負荷対策パターン CPU負荷削減 multiコマンド Redisパイプライニング Luaスクリプティング Redisモジュール(夢) スケールアップ スケールアウト 参照用スレーブ 垂直分割 水平分割 Redis Clusterによる水平分割 その他 スライド資料 あとがき 参考資料 背景 R

MySQLのswap insanity問題という言葉を聞いて、なんのことかさっぱり分からなかったので、調べてみました。CPUとかLinuxとかMySQLとかちゃんと理解しているわけではないので、間違っていることを書くかもしれません。 NUMAアーキテクチャ http://www.nces.is.nagoya-u.ac.jp/NEXCESS/blog/index.php?itemid=211あたりが分かりやすい。 UMAアーキテクチャがメモリを全てのCPUの共有資源とみなしてグローバルにアクセスするのに対して、NUMAアーキテクチャは以下のようにメモリを管理する。 ノードという単位でメモリを分割し、各CPUが割り当てられたメモリをローカルメモリとして管理するようになる numactlとかlibnumaとかで構成は変えれる? 他のCPUが管理しているメモリにはそのCPU経由でアクセス可能 de

はじめに Linux で採取できるCPU使用量(率)の情報として、%user や %sys 等に加えて %steal という量がある。これが追加されたのは、仮想化が広く使われはじめた10年くらい前だろうか。筆者は Xen を調べていて気づいたのだが、もっと前にs390のために追加されたのかもしれない。当時、ESXの場合も含めて調べていたのだが、最近、KVMの場合にどういう実装になっているのか、ふと気になって軽く調べてみたのでメモ。 CPU使用率の計算 まず最初に、sar や vmstat や mpstat 等、さまざまなツールでCPU使用率を取得することができるわけだが、どのような情報を元に、どのような計算を行って算出しているのか？ まず、kernel内ではboot以後の各種実行モードのCPU時間を分類して積算値として保持している。user モード、特権モード、割り込み処理に使った時間..

kSar http://ksar.atomique.net/index.html kSarのグラフ化について kSarによるsarのグラフ化について | Miracle Linux Support KSarでsysstatのグラフ化 - shibainu55日記 HugeDomains.com - Shop for over 300,000 Premium Domains グラフ化については、上記がわかりやすいかと思います。 sarのcronは以下のように設定しています。 [root@web ~]# cat /etc/cron.d/sysstat # run system activity accounting tool every 10 minutes */10 * * * * root /usr/lib/sa/sa1 1 1 # generate a daily summary of

ちょっと煽り気味のタイトルですが、CPU がマルチコアになり 2個、4個と増えていく中 Linux の負荷の指針になるロードアベレージをどう読むべきか、という話です。気になったところを少し調べたのでそのまとめを。 http://d.hatena.ne.jp/naoya/20070222/1172116665 でも書いたとおり、Linux のロードアベレージは「ロードアベレージは過去1分、5分、15分の間の実行待ちプロセス数の平均数 = 実行したくても他のプロセスが実行中で実行できないプロセスが平均で何個ぐらい存在してるか」を示す値です。ボトルネックが CPU、メモリ、ディスク等々どこにあるかは関係なく、仕事の実行までにどれぐらい待たされているかを示す値なので、システムのスループットを計測する指標の入り口になる値です。 このロードアベレージですが、実装を見るとランキュー(待ち行列)に溜まった

Direct Memory Access（DMA）は、CPUを介さず、バスを使いメモリとメモリ、またはメモリとI/O（周辺デバイス等）の間で直接的にデータ転送を行う機能。[1] コンピュータにDMAが無い場合はデータ転送はCPUが行うが、DMAを使用している場合、CPUに代わりDMAがデータを転送する[1]。DMAを制御する装置をDMAコントローラ（DMA Controller, DMAC）という。 DMAを使うと高速のデータ転送が可能になり、コンピュータの性能を総合的に上げることができる[1]。 DMAがあれば、CPUは、データ転送の仕事はDMACにまかせて、その時間をCPUにしかできない仕事に使うことができる[1][2]。[注釈 1] ただし、DMAは1本しかないバスをCPUと分け合って使うため、バスの使用権の調整が必要となる[1]。 このバスの使用権の調整は英語で「バスアービトレーシ

command_tips.md Linuxの性能関連のまとめ 性能測定コマンド sar ：システム稼動状況 mpstat：CPU稼働状況 vmstat：仮想メモリ稼働状況 free ：メモリ情報 iostat：ハードディスク,CPU使用状況 ps ：プロセス情報 top ：プロセス情報 目安 CPU CPU使用率：90%以上 CPU待ちプロセス数：2より大きい(1CPUあたり) メモリ メモリ使用量：ページングの発生回数 ディスク ディスク使用率：80%以上 ネットワーク ネットワーク使用率：80%以上 パケット衝突回数：送信パケットの10%以上 sarコマンド # sar [オプション] [-o ファイル名] 取得間隔 取得回数 -u：CPU：CPU使用状況 -q：CPU：プロセスキュー、システム稼動負荷 -r：メモリ：メモリ,スワップ領域使用状況 -R：メモリ：メモリ動作状況 -B：メ