はてなブックマーク

次のスライドは@syuu1228さんの「OSvの概要と実装」。 OSvの概要と実装 from Takuya Asada ライブラリOSが流行っている感じもするので、そのうちまとめておきたい。USENIX ATCのOSvの発表を聞いて、タネンバウム教授がexokernelと何が違うみたいな質問をしてたそうな。 ユーザ空間がなくカーネル空間のみという割り切りはすごい。ハイパーバイザが最後の砦になるので、よいという判断。カーネルじゃなくてライブラリと考えればそんなものかとも思うが、カーネルとアプリが同じメモリプールからmallocするとなると、ちょっとしたオーバランでカーネルをぶっ壊してしまいそう。 アプリからPF filterやnet channelにフックを仕込んでパケットを奪って処理することが可能。実装の雰囲気としてはカーネルモジュール。 ttyないのでエディタを開発するのは難しい。RES

何はともあれgit clone。 $ git clone git://git.kernel.org/pub/scm/linux/kernel/git/stable/linux-stable.gitLinuxカーネルでは、3.x.y系列ごとにブランチがあり、リリースバージョンにタグを付けることになっている。なので、ソースコードをチェックアウトする方法は2つ。ブランチ（linux-3.x.y）をチェックアウトする方法と、タグ（v3.x.y）でリリースバージョンをチェックアウトする方法。 まずはブランチから。git branch -aで本家のブランチがずらずらでてくるので、見たいバージョンを探す。 $ git branch -aあとは任意のバージョンをチェックアウトするだけ。 $ git checkout -b linux-3.10.y origin/linux-3.10.y続いてタグ。git

OSvを動かしてみるぞ〜。 git clone https://github.com/cloudius-systems/osv.gitして、README.mdを眺める。scripts/setup.pyで必要なパッケージをインストールするみたいだけど、CentOS用の記述がないので、Fedoraをベースにコードを追加。versionがexact matchなので、マイナーバージョンアップしたらダメだな、これ。まぁ、いいや。 diff --git a/scripts/setup.py b/scripts/setup.py index 8487c2a..c73891b 100755 --- a/scripts/setup.py +++ b/scripts/setup.py @@ -51,6 +51,30 @@ class Fedora(object): versions = [Fedora_20

書籍「ソフトを他人に作らせる日本、自分で作る米国」を読んでいたところ、元日本IBMの方によるタイトルの発言が飛び出した。この業界に長くいると、仮想記憶に仮想計算機と「仮想」という訳語にはまったく違和感を感じなくなってしまったが。。。曰く、IBMがVirtual memoryを発表したとき（MVSのことかな*1）、日本IBMが仮想記憶と訳したのだそうな。『virtualは「事実上の」「実質的」という意味であり、virtual memoryは「本来のメモリーではないが事実上メモリーとして使える技術」を意味する。』 大学時代の恩師も次のように言っていた。 「仮想」という概念が、コンピュータの世界に入ったのは、１９７５１９６５年のことである。MITがMULTICSという汎用大型TSSの構想を発表した。これが現在の、パソコンネットワーク時代の幕開けの狼煙であった。この中の技術に「仮想記憶」の概念が含

A Tour of Goを進んでいくと、HTTPサーバの例が。お、Playgroundで通信ができるのか？と思ったら、案の定、ローカルで実行せよとのこと。 というわけで、brewでインストール。 $ brew update $ brew install go ==> Downloading https://downloads.sf.net/project/machomebrew/Bottles/go-1.3.1.mavericks.bottle.1.tar ######################################################################## 100.0% ==> Pouring go-1.3.1.mavericks.bottle.1.tar.gz ==> Caveats As of go 1.2, a valid GOPATH i

サーバにCentOS 7をインストールしたので、メモを残しておく。 ネットワーク あぁ、インタフェース名がenp6s0とかenp7s0になっているね。それぞれのPCI IDは06:00.0と07:00.0。 管理ツールはNetwork Administration Toolがなくなり、Network Managerに一本化されたそうな。今まではインストール後速攻に削除していたけど、使ってみるか。Network Managerではネットワーク設定をコネクションという概念で抽象化しているけど、一番単純なケースはインタフェース＝コネクション。 設定ファイル自体は/etc/sysconfig/network-scripts/ifcfg-<コネクション名>なのは一緒。ターミナルから使えるコマンドは、nmtuiとnmcli。 $ nmcli c sh # コネクション一覧表示 $ nmcli d sh

佐藤さんの講演を聴いて、プロモーションコードをゲットしたことだし*1、GCEを少し試してみることにした。中身を見ずに「Google Compute Engine入門」という書籍も買ってみたのだけど、すでに内容が古くなっている気が。。。本書ではgutilというCLIツールを使っているのだけど、すでにgutilからgcloudというツールに乗り換えることが推奨されている。 この辺を見ながらgcloudを含むSDKをインストール。 $ curl https://sdk.cloud.google.com | bashGCEを使うためのOAuthの設定のためにgcloud auth loginを実行する。実行すると勝手にブラウザが認証用ページに飛び、よしなにしてくれる。 $ gcloud auth loginDevelopers consoleでプロジェクトを作り、早速インスタンスを立ち上げてみる。

systemdではcgroupを活用しているようだ。サービスごとにcgroupでアイソレーションされているので、関係するプロセスを一網打尽で殺せるし、サービスごとの資源利用量を観測できる。確かにpidをファイルに記録しておいて、殺すってのはダサいよね。流れとしてはユニットファイルでExecStopで指定されているコマンドを実行し、それでも当該グループのプロセスが残っている場合は、SIGTERM、SIGKILLの順でシグナルを投げるそうな。詳細はレッドハット中井さんの「Linux女子部　systemd徹底入門」とか。 次はsystemd-cgtopの実行例。 Path Tasks %CPU Memory Input/s Output/s / 86 0.3 197.3M - - /system.slice/NetworkManager.service 2 - - - - /system.sli

前回の続きで、systemdを少し調べてみる。systemdはsysvinitに代わってRedhatやDebianで採用されているが、「Linus様がSystemdにぶちきれる」とかboycott systemdとか、物議を醸しているようだ。 CentOS 6.5だと、PID 1は当然initだけど、CentOS 7はsystemdになっているのがわかる。 $ pstree -h init─┬─acpid ├─agetty ├─crond ├─6*[mingetty] ├─ntpd ├─rpc.statd ├─rpcbind ├─rsyslogd───3*[{rsyslogd}] ├─sshd───sshd───sshd───bash───pstree └─udevd───2*[udevd][vagrant@localhost ~]$ pstree systemd─┬─NetworkMan

CloudStackにはDevCloudというお試し開発環境がある。その実体は仮想アプライアンスになっていて、VirtualBoxやKVM上で最低限のCloudStack環境を動かせるようになっている。OS XでもVirtualBoxが動くのだけど、新たにVirtualBoxをインストールするのはいやなので、既存のVMWare Fusion + Ubuntu環境でDevCloudを動かしてみた。VMWare Fusion 5はNested Virtualizationに対応しているので*1、ゲストOS内でKVMなどのハイパーバイザを動かすことができる。う〜ん、すばらしい！ DevCloudの動かし方は、CloudStackのWikiに詳しいので、それに従えばOK。ただし、4.2-SNAPSHOTというgitのmasterブランチを使っていたので、ソースコードを一部直す必要があったけど、これ

今までRedHat系Linux + OFEDパッケージでInfinibandを使うことが多かったが、Ubuntu 12.04 + 基本パッケージでどこまでできるかやってみた。InfiniBand HCAはMellanoxのConnectX-3。カーネルは3.5.0-23-genericで、ドライバ類はカーネル標準の物を利用する*1。 結論から言えば、基本的に基本パッケージだけでInfinibandが動く環境を作ることができる。ただし、Ubuntu 12.04に含まれるlibmlx4パッケージはConnectX-3に対応していないので、ここだけは12.10のパッケージを持ってきてしのいだ*2。したがって、12.04でも新しめのHCAを使わない場合や、12.10では何の問題もなく動くだろう。 まず、/etc/modulesにとりあえず必要そうなモジュールを追加して、それぞれをmodprobeし

Trema Day #1に参加した。まったりとした雰囲気の中、Tremaに限らずSDN関連のいろんな発表聴けて休日を潰しても十分元を取れた。その中でOpenFlow 1.3の話がいくつか出てきたので、まとめておきたいと思う。当日の様子はust録画されているとのことなので、まだ視聴できると思う。 1.0から1.3への変更について、機能レベルでIPv6やMPLS、PBBなどに対応したというのはあちこちで耳にするので、ここでは踏み込まない。グループやQoSのあたりも、具体的にどう使うのかいまいち分かっていないし。個人的には予想以上にプロトコルが変わっているという印象を強く受けた。詳しくは後で書くけど、packet inに関わる部分は特に変わりすぎじゃないかな。現実に即すように変更されたのだとは思うけど。Trema開発の中心人物である須堯さんは、1.0と1.3の互換性を取りながらコントローラを作る

本年最後のエントリはちょっと無理してシステムソフトウェア研究の将来に思いを馳せてみたい。（おぉ、まだ酒は入っていないｗ） 去る12月6〜7日にコンピュータシステムシンポジウム（ComSys）2012が開催された。加藤和彦（筑波大）教授による基調講演「仮想化とシステムソフトウェア研究」では、Multics、Unix、Mach、そして同教授が関わったDSR/Planet、遠隔RPC、BitVisorなどの研究を振り返り、システムソフトウェア研究が目指した理想と社会が求めた現実とのギャップ分析が示され、非常に面白かった。イノベーションの源泉がシステムソフトウェアよりも上位層に移っているのは確かではあるが、システムソフトウェア研究者としては、例えばセキュリティなど、自分の研究と社会との関係をどう位置付けるかが重要と改めて感じた。また、質疑応答では、日本は特にインフラが見えにくいという問題があり、若

Lions' Commentary on UNIX 読書会で親交のあった@superhogeさんが「はじめてのOSコードリーディング」を上梓される（「はじめてのOSコードリーディング」という本を出版します）。読書会の活動が書籍として結晶したことに感動するし、自分が生まれた頃のソースコードの解説本が今出版されるというのも感慨深い。 OSに限らず技術には理論と実践の両面がある。UNIX V6やLions本が出た頃は、OSの黎明期であり、その理論については論文などで知ることができたけど、実際にどのように作られているのか、その方法についての情報は手に入らなかった。そこにLions本が受け入れられた背景がある。翻って現在は、実践的な情報が氾濫している。で、どこから初めていいのかわからず思考停止に陥ってしまいがち。まず簡単なところ（しかし、トイOSではなく実用に耐える(た)OS）から一歩踏み出してみよ

最近、Open vSwitchについて調べたことを、某所でお話しする機会があったので少し忍ばせた（「I/O仮想化最前線」）。スライドのP37から数枚がそう。 Open vSwitchはOpenFlowに対応したソフトウェアスイッチということで大いに注目を集めたし、自分もそのコンテストで理解していた。だけど、おそらく最初からOpenFlowスイッチを作ろうという目的があったわけではなく、VMをホスティングするためのまともなソフトウェアスイッチが欲しいということでプロジェクトが開始したんじゃないかな。あまり昔のドキュメントが見つからなかったので、本当のところはわからないけど。 例えば、VLANを使ってテナント毎にトラフィックを隔離したいと場合も、レガシーブリッジよりも簡単に実現できる。add-portするときにtag引数を追加するだけだ。 # ovs-vsctl add-br br0 # ov

NiciraがVMWareに買収されたというニュースが入ってきたが、今日はGRE（Generic Routing Encapsulation）について調べてみる。 Linuxカーネルの実装とは別に、Open vSwitchはGREのユーザレベル実装を持っているようだ。ソースはdatapath/vport-gre.cかな。 使い方は簡単。GREで接続したい2ノード（IPアドレスはそれぞれ192.168.10.1と192.168.10.2）のそれぞれで、ポートgre0を追加して、set interfaceすればOK。 $ sudo ovs-vsctl add-port br0 gre0 $ sudo ovs-vsctl set interface gre0 type=gre options:remote_ip=192.168.10.2 options:pmtud=false $ sudo ov

どこかに書いてありそうで、いまいちまとまってなさそうなので、メモ。 基本的にQoS機能としては、ingress policingとegress shapingをサポートしている。ingressとegressはvSwitchから見てなので、 | VM | <--> (tap0) <--> | vSwitch | <--> (eth1) とかいう構成だとすると、VMから入ってくる方がingressで、物理ネットワークに出て行く方がegressになる。policingとshapingは簡単に言うと、設定した帯域を超えたトラフィックをばっさり落としてしまうのがpolicingで、超えた分のトラフィックを平滑化して送り出すのがshaping。shapingはパケットを落とさないけど（もちろんキュー長の限界はある）、遅延は増加してしまうので、どちらを使うかは用途次第ということになる。 Open vSw

ここ以来、なかなかコードを読めていないのだけど、とりあえず環境を作ったので、忘れる前にメモ。まずはOpen vSwitchをLinux標準のブリッジの代わりに使うことを考える。Open vSwitchのバージョンはv1.6.1。OSはDebian GNU/Linux 7.0 (testing)。Debianのパッケージ（1.4.2ベース）は使わずに野良ビルド。 ここに書いたことはトップディレクトリ直下にあるINSTALL.LinuxとINSTALL.KVMの抜粋なので、まずはそこに目を通すべし。 Open vSwitchの構成 基本的な構成要素は次の三つ。Open vSwitchデーモン（ovs-vswitchd）、構成情報を管理するDBサーバ（ovsdb-server）、パケットの転送処理（データパス）を行うカーネルモジュール（openvswitch_mod.ko）である。ovs-swi

なんかしばらくすると忘れていたのでメモを残しておく。 linux-source-2.6.32パッケージをインストールしておくと、/usr/src/linux-source-2.6.32.tar.bz2がインストールされる。これを展開して、カーネル全体ではなく、例えばKVMだけといった具合に必要なモジュールだけをコンパイルしたい。 # cd linux-source-2.6.32 # cp /boot/config-2.6.32-5-amd64 .config # make oldconfig # make modules_prepare # cp /lib/modules/`uname -r`/build/Modules.symvers .これで準備が完了。あとはKVMをコンパイルする。 # cd arch/x86/kvm # make -C /usr/src/linux-source-2

正確にはFailure-oblivious computingを「エラー」忘却型コンピューティングって訳したのは誰だという話。訳す過程でfailureがerrorに入れ替わっている。情報系の人間は「名前重要！」とか言う割に、障害（fault）、異常（error）、故障（failure）という用語の定義、使い方に無自覚な人が少なくない。Twitterで意外と反応があったので、（自戒を込めて）書き起こしてみる。 Failure-oblivious computingは、2004年のOSDIでMITのMartin Rinardらが論文"Enhancing Server Availability and Security Through Failure-Oblivious Computing"で提案した技術。Cのような言語で不正ポインタ参照が発生しても、これを検出してなかったことにして（適当な値を

Cassandraは言わずとしれたNoSQL型データベース。もともとFacebookで開発されたものが、Apacheに寄贈され、オープンソースプロジェクトとして今も開発が続けられている。Cassandraに関するドキュメントは山のようにあるので*1、ここから新しい情報は得られないと思うけど、個人メモとして残しておく。対象バージョンは1.0.9。 まず、gitからコードをもってくる。 $ git clone http://git-wip-us.apache.org/repos/asf/cassandra.git $ cd cassandra $ git checkout -b cassandra-1.0.9 cassandra-1.0.9 $ find . -name "*.java" | etags - 最初はCassandraデーモンの起動部分から追ってみる。 bin/cassandra

昨日、@oshothebig主催のOpen vSwitchソースコードリーディングに参加してきたので、メモ書きをつれづれと。Open vSwitchはOpen Flowにも対応した仮想スイッチで、最近Linux 3.3にコードがマージされたというニュース「Open vSwitchがLinux 3.3でメインラインにマージ、標準サポートへ」が出ていた。Open vSwitchの一部にはLinux kernel用のモジュールが含まれているけど、これがマージされたようだ。 Open vSwitchはTrema経由で使ったことがあったけど、内部がどうなっているかとか、ましてやソースコードはまったく読んでいない。ということで本勉強会に参加してみたのだが、のっけの発表からOpen vSwitchの知識をある程度前提にされているようで、ついて行けない。ちょっと予習が必要だったかも。講演資料は各自アップロ