Netflixのパフォーマンスエンジニアである筆者からの、topコマンドなどで表示されるCPU使用率(%CPU)は、いまや本当の使用率を表しておらず、チューニングなどのための指標として使えないという指摘。なぜそうなってしまったのか、何を見れば本当のCPU使用率がわかるのかをわかりやすく解説した記事。 私たちみんながCPU使用率として使っている指標は非常に誤解を招くもので、この状況は毎年悪化しています。CPU使用率とは何でしょうか？プロセッサーがどのくらい忙しいか？違います。CPU使用率が表しているのはそれではありません。私が話しているのは、あちこちで、あらゆる人たちに、あらゆる監視製品で、あるいはtop(1)でも使われている、"%CPU"という指標のことです。 あなたの考えているであろうCPU使用率90% : 実際 : "stalled"(訳注 : 以下ストールと言う)とは、プロセッサーが

Bash on Windowsが強化、Linux版のJavaやGo、PostgreSQLなどもWindowsで実行可能に。3月リリースのWindows 10 Creators Updateで マイクロソフトは来月（2017年3月）登場予定のWindows 10の大型アップデート「Windows 10 Creators Update」で、Windowsに取り込んだLinux機能の「Bash on Ubuntu on Windows」とその背後にある「Windows Subsystem for Linux」（以下、両者をまとめて「Bash on Windows」に省略）の強化を行い、これまで実行が困難だったLinux版のJavaやPostgreSQLなども実行可能になることを、2月8日（日本時間2月9日未明）のイベント「Windows Developer Day - Creators Upda

This post has been published more than 7 years ago, it may be obsolete by now. A year earlier I decided to switch from OSX to Ubuntu, so now is a good time to make a little retrospective. TL;DR: Linux now offers a pleasant desktop user experience and there’s no way back for me. I was a Linux user 10 years ago but moved to being a Mac one, mainly because I was tired of maintaining an often broken s

Linux デスクトップ環境 2016 - eagletmt's blogの人に影響を受けて自作PCでLinuxデスクトップを使い始めてから約1年半が経ち、僕の使う環境が一通り満足な状態になったので今どういう構成なのか書いておく。 僕はKeynoteを使う時とか会社のマシンでmacOSも割と使う都合、基本的に操作性がmacOSに近くなるようにしているので、macOSからLinuxに移行したい人の参考になるかもしれない。 *1 そもそも何故Linuxデスクトップを使っているのか 「苦労してmacOSに近づけるくらいなら最初からmacOS使えばいいじゃん」と言われそうだが、今この瞬間は大体以下の理由でLinuxデスクトップを使っている。 趣味で作ったスペックが高めの自作PCにmacOSが入れられない *2 最新のmacOSではKarabinerが使えないが、Linuxでは自作のキーリマッパーが

プログラミングカンファレンス等を確認するまでもなく、MacBook Proは開発者のためのマシンとして近年大きな人気を誇っています。ハードウェアの完成度が高いだけで無く、UNIX由来の各種コマンドが利用できるmacOSも開発者が好む理由の一つにもあげられると思います。 ところが2017年はその状況が変わってくるのかもしれません。開発者Luca Ciavatta氏は、今年開発者がmacOSから離れLinuxにスイッチする可能性があると、ブログ記事「Why devs are switching from Mac OS X to Linux?」にまとめています。 ブログの根拠は、Appleが開発者の需要を無視し、割高なハードウェアを販売しているというもの。そのために人々はハードウェアとソフトウェアの両面で代替案を探しているというのです。 参考リンクとして同様な動きを伝える以下のようなリンクをリス

はじめに CentOS7になり、サービスの管理するシステムが"System V系のinit"から"Systemd"に変わったため、今までのように/etc/rc.d/init.d/sshd restartを実行することができなくなりました。 Systemdでサービスを管理できるようになるために、私が使うコマンドを中心にまとめていきます。 ※ちなみに、serviceコマンドは今まで通り使える模様(systemctlへリダイレクトしてるけど)。 サービスの起動・終了 今まで/etc/rc.d/init.d/sshd restartとやっていたsshdの再起動は、systemctl restart sshd.serviceとなる。 調べていると、systemctl restart sshdと書いてあるところもありますが、1番最後の引数はUnit名を入れるという事になっているため、サービス名ではなく

この前、若手に聞かれたので、ここにも書いておく。 好みでは有るが、可能な限り数字のみで標準出力に出せるようにしておくと、スクリプトの中などで並列実行数を動的に定義しやすい。 ちなみに下記の前提は、CentOS 6.6 & 56コア(！)のサーバで確認している。 nproc # nproc 56一番簡単なやつ。 getconf # getconf _NPROCESSORS_ONLN 56getconfでも拾える。 /proc/cpuinfo # cat /proc/cpuinfo | grep -c "processor" 56皆さん、ご存知の通り、 /proc/cpuinfo は多くのCPU情報を取得することが出来る。 余談だけど、 /proc/cpuinfo に含まれる"physical id"はどの物理ソケットか、とか、"core id"を見ると物理コア(HT関連などで論理コアの紐付き

皆様うるう秒対応お疲れ様でした。こんにちはこんにちは！！インフラ基盤サービスグループという名前のアレに所属させてもらって、画像配信基盤とかネイティブアプリ基盤などのインフラの面倒を見させてもらってる、@kakerukaeruと申します。 副業でジャック・ニコル◯ンの偽物をしたり社内chatにAAや画像を貼って場を荒らす和ませる仕事をしております。 はいというわけで、 ここ最近うるう秒対策チームを私と@nekoruriさんの二人でやっていたのですが、 せっかくだからウチはこういう対策やったよ、ってのを 「you エンジニアブログに書いちゃいなよ」って雑談から始まり、 「me エンジニアブログに書いちゃいなよ(?)」となり、 公式エンジニアブログに初参戦させていただく運びと相成りました。 もううるう秒終わってんじゃねーか、うるう秒の前に公開しろや。とは僕も思いますが、突っ込まないで下さい うる

昔、WindowsNT4の頃に、ひどい目にあったIT技術者はWindowsを感情的に嫌うひとが多いです。その反動からか、BSDやLinuxの安全思考は力強いブランドを得て、BSDはMacのベースOSとして活用され、LinuxはサーバOSとして世界中を席捲する流れになりました。 ところが最近、Linuxや周辺を取り巻くソフトウエアのセキュリティ問題が大きくクローズアップされています。 オープンソースは多くの人の目に触れるから脆弱性が見つかってもすぐに修正されるという問題は、最近新たな価値観に変わりつつあるように思えます。 ・人間は必ずバグを作りこむ ・人は間違ってないと信頼しているものには、驚くほど関心を持たない。 ・メジャーなソフトウエアでもびっくりするような不具合があった。 結局のところ、「枯れたソフトウエア」が実は枯れていなかったというのが流れで、セキュリティ問題は、全ての時計の針を最

2015年1月27日(現地時間) Qualysはglibc(GNU C Library)に脆弱性を発見し、情報を公開しました。ここでは関連情報をまとめます。(暫定まとめなので精度低め、網羅性無しです。。) (1) 脆弱性関連情報 Qualysが公開した脆弱性情報 The GHOST Vulnerability Qualys Security Advisory CVE-2015-0235 注意喚起 IPA (注意) libc の脆弱性対策について(CVE-2015-0235) 脆弱性の概要 glibcの__nss_hostname_digits_dots() にヒープバッファオーバーフローの脆弱性。 当該関数はglibcのgethostbyname()とgethostbyname2()から呼ばれている。 アプリケーションによっては、DoS、またはリモートから任意のコードが実行可能となる可能性

クラウドセキュリティ企業Qualysの研究者が、Linux GNU Cライブラリ（glibc）に深刻なセキュリティホールである「GHOST」（CVE-2015-0235）を発見した。この脆弱性を利用すると、ハッカーはIDやパスワードを知らなくてもシステムをリモートから乗っ取ることができる。 Qualysはただちにこのセキュリティホールについて主なLinuxの配布元に警告を送り、多くの配布元がすでにパッチを公開している。 このセキュリティホールは、glibc-2.2（2000年11月10日にリリース）を使用してビルドされたすべてのLinuxシステムに存在する。Qualysによれば、このバグは実際には、2013年5月21日にリリースされた、glibc-2.17とglibc-2.18の間のバグフィックスで修正されている。 ところが、このバグフィックスはセキュリティ上の問題であると分類されていなか

「Myths about /dev/urandom」が定説を覆す解説を行っている。Linuxを使う場合には/dev/urandomよりも/dev/randomを使う方が安全だといわれていたが、ブロックするというその特性や実際の内部実装などから考えれば、/dev/urandomが適切な選択肢であり、強い理由があって/dev/randomを使っているのでなければ/dev/urandomが十分なランダムデータの入手源であるという。 説明はLinuxカーネルを焦点にしたもので、マニュアルにも記載されている定石「/dev/randomは、疑似乱数生成器を利用する/dev/urandomよりもランダム性が高い」というのは、必ずしもそういうことではないと説明している。説明は概念的なところから実際の処理の流れ、暗号処理が使用している疑似乱数生成器などに触れ、最終的に/dev/randomを必要とする強い理

久しぶりに JDBCRunner をやったらこれにハマってたのでメモ。 症状的には、1回目は通るのに2回目を掛けようとすると流れなくて、数分後にエラー。こうなると何回やっても同じで30分くらい放置するとなぜかまた1回だけ通るようになる…みたいな不思議な動き。 「jdbc thin Connection reset」でGoogle先生に聞いたら一発HITでした。適当に作ったLinuxVMホストでかけたので、最初はNW周りを疑いまくったのだけど違った。 http://d.hatena.ne.jp/tmftake/20130130/1359553276 ●回避版の今の起動方法メモ export CLASSPATH="jdbcrunner-1.2.jar:ojdbc6.jar:orai18n.jar" java -Djava.security.egd=file:/dev/./urandom JR

事象 LinuxのAPサーバ上に配置したJavaバッチプログラムからOracle DBへJDBC接続しようとするとDBコネクション取得時にエラーが出ることがあった。 体感的には、何度かバッチ起動終了を繰り返すとDBコネクション取得にかかる時間がどんどん遅くなっていき、最終的に繋がらなくなる。 DB接続部分はいつもどおりのやり方。 Class.forName("oracle.jdbc.driver.OracleDriver"); Connection con = DriverManager.getConnection("jdbc:oracle:thin:@host:1521:sid", user, pass); 共有サーバ接続だと以下のエラー java.sql.SQLException: IO Error: End of TNS data channel at oracle.jdbc.dri

GNU screenはもう古いので皆さんtmuxへ移行しましょう、という話。Gentooならemerge tmux。 スクリーンショット 手元のtmuxを撮ってみた。縦分割モード。ウィンドウマネージャはawesome。左のircクライアントはweechat。 本家にもいくつかスクリーンショットがある。 tmuxへ移行する理由（メリット） 標準設定のままでもそれなりに使えるステータスバー 各ショートカットがコマンドベース（コマンドで操作ができる） 標準で縦分割機能搭載 GNU screenがたまに固まる問題（が発生するのは私だけ？）が発生しないかも ビュー専用のスクロールモード 柔軟なペイン制御 コピー＆ペースト用のバッファを複数保持できる terminfo的にscreen互換 メモリ消費量が少ない(GNU screenの約1/5) 一部機能でマウスが使用できる(mode-mouse, mo