Developer summit continuous deliveryとjenkins

Continuous DeliveryとJenkins
川口耕介

©2010 CloudBees, Inc. All Rights
Reserved

川口耕介って誰？
• Jenkinsクリエイター＆プロジェクトリー
ド
• アーキテクト @ CloudBees
• その前は…
– RELAX
– JAXB, JAX-WS, JAXP等 @ Sun
Microsystems
– GlassFish v3のモジュールレイヤの一部など
– FreeTrain

©2010 CloudBees, Inc. All Rights 2
Reserved

jenkins-ci.org
• JavaによるCIサーバ/OSS
• 7年位やっている
• 使うのが簡単
• プラグインによる機能拡張
– 現在 450+
• 世界中で広く普及
– インストールベース: 31K+

Reserved

Reserved

Sparc ロードマップ

Reserved

計算能力の向上
• 計算能力はどんどん増える
• 計算能力はどんどん安くなる

• 計算能力の費用対効果が上がる
• 開発者の費用対効果は変わらない
• ソフトウェア産業では
ますます計算機の効率よい活用が重要に

Reserved

Photo by skreuzer

Reserved

クラウド・仮想計算機
• VMWare, Xen, KVM, …
• EC2, Rackspace

• 見かけのマシン数はどんどん増える
• シングルシステムイメージの恩恵は受け
られない

Reserved

聖徳太子も七台まで

Reserved

Reserved
http://www.flickr.com/photos/19188303@N02/4801131166/

• VMは計算機をスライスするだけではな
い

• プロビジョニングのリアルタイム化・自
動化
– テンポラリ計算機
• テスト実行毎に独立したクローンを用意
– QAからプロダクションに再配備の必要なし

Reserved

デプロイメントモデルへの影響

ロードバラン
サ

App v7

Building Cloud Tools for NetFlix: http://www.slideshare.net/joesondow/building-cloudtoolsfornetflix-9419504

Reserved


ロードバラン
サ

App v7 App v8

Reserved


ロードバラン
サ

App v7

Reserved

• 小さなスケールで並列化を奨励する
コストモデル
台数台数

時間時間

Reserved

とにかく横に並べればよい
• スローテスト？

Reserved

あらゆる階層でテストの並列実行
• 複数スレッドで
– 拙作 parallel-junit
– TestNGとか
• 複数プロセスで
– 拙作 Maven JUnit plugin
– Maven Surefire
• 複数マシンで
– マトリックスプロジェクト

Reserved

クラウド・仮想計算機：再び
• 自動化への更なる拍車
– EC2 → RightScale
– Chef, Puppet
• ミドルウェア・ツールなどのインストー
ルも非対話的に
– 複雑な自動化がより簡単になる

Reserved

開発ツールの自動化の進展
• 非対話的ビルド
– Visual Studio → MSBuild
• 実行結果を機械可読にする
– CVS → Subversion
– テストレポート

• 今や対話モードonlyなど考えられない

Reserved

開発ツールの自動化は今後も続く
• インストールの自動化
• 実行経過の機械可読化
– 構造化・多層化
[INFO] ------------------------------------------------------------------------
[INFO] Building Test harness for Jenkins and plugins 1.406-SNAPSHOT
[INFO] ------------------------------------------------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.4.1:clean (default-clean) @ jenkins-test-harness ---
[INFO] Deleting /home/kohsuke/ws/jenkins/jenkins/test/target
[INFO]
[INFO] --- maven-enforcer-plugin:1.0:enforce (default) @ jenkins-test-harness ---
[INFO]
[INFO] --- maven-enforcer-plugin:1.0:display-info (default) @ jenkins-test-harness ---
[INFO] Maven Version: 3.0.1
[INFO] JDK Version: 1.6.0_20 normalized as: 1.6.0-20
[INFO] OS Info: Arch: amd64 Family: unix Name: linux Version: 2.6.32-31-generic
[INFO]
[INFO] --- maven-remote-resources-plugin:1.0:process (default) @ jenkins-test-harness ---
[INFO]
[INFO] --- maven-resources-plugin:2.4.3:resources (default-resources) @ jenkins-test-harness ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 12 resources
[INFO]
[INFO] --- gmaven-plugin:1.0-rc-5-patch-2:execute (preset-packager) @ jenkins-test-harness ---
[INFO]
[INFO] --- maven-stapler-plugin:1.15:apt-compile (default-apt-compile) @ jenkins-test-harness ---
[INFO] Compiling 46 source files to /home/kohsuke/ws/jenkins/jenkins/test/target/classes
Note: Generating org/jvnet/hudson/test/ExtractChangeLogParser/FileInZip.javadoc
Note: Generating org/jvnet/hudson/test/ExtractChangeLogParser/ExtractChangeLogEntry.javadoc
Note: Generating org/jvnet/hudson/test/ClosureExecuterAction/doIndex.stapler
Note: Some input files use or override a deprecated API.
Note: Recompile with -Xlint:deprecation for details.

Reserved

開発ツール自動化の天王山

Reserved

SaaSの台頭
• Sauce OnDemand
– レンタルSelenium

Reserved

SaaSの台頭: deviceAnywhere

Reserved

SaaSの台頭: CloudBees DEV@cloud
• Jenkins as a Service

Reserved

SaaSの台頭
• プロビジョニングも急速・簡単・自動
• Just-in-time化
• 従量制料金モデル
台数台数

時間時間

Reserved

開発環境をとりまく大きな流れ
• 過剰ともいえる計算能力
– 物理的制約・コストモデルから並列化へ
• 色々な人のおかげで自動化が簡単に
– 計算機群、計算機、OS、ミドルウェア、ツー
ル
– クラウドで、VMで、SaaSで

• 執事が必要
– 多くのサービスと潤沢な計算機を指揮する執
事が
Reserved

Reserved

Jenkinsは分散ビルドに対応して５年
• 100+の計算機とその利用状況を把握する
基盤がある
• 多数の計算機にまたがってプラグインを
実行する仕組みがある

Reserved

コミットの検証済みマージ
ありあまる計算機を使いこなす方法：その１

©2010 CloudBees, Inc. All Rights Reserved
Reserved

CIのジレンマ
• CIでローカルの仕事がサーバに移った？
– コミットをしないとJenkinsにテストしても
らえない
– でもコミットが壊れていたらみんなに迷惑
が掛かる
– サーバでテストしたいのにローカルでテス
トする羽目に

Reserved

大規模プロジェクトのジレンマ
開発者が問題のあるコミットをする確率が
一定なら、チームが大きくなる程何かの問
題が生じる確率は限りなく100%に近づく

100%
80%
60%
40%
20%
0%
0 5 10 15 20

Reserved

解決：検証済みマージ
• 開発者はブランチにコミットする
• Jenkinsがブランチをテストする
• OKならばJenkinsがトランクにマージす
る
開発者１

開発者２

トランク

Reserved

恐れることなかれ！
• 実際にはせいぜいこんな感じ
– rebaseを使えばtrunkからあまり外れない
– コードを書くペースはテスト実行よりずっ
と遅い

Reserved

利点
• 間違いをしても他人に影響しない
– 気軽にコミットできる

• テストはサーバで走る
– 大規模なテストや環境依存のテストも

• テストは非同期に走る
– 満足する変更をしたら、すぐ次の作業へ
– テスト実行待ち時間なし

Reserved

検証済みマージを階層化
• JavaSE, NetBeansはこれに近い

master
repo

team team team
repo repo repo

Reserved

やりかたの詳細
• Subversion Merge Plugin
• Git Plugin
• Gerrit Plugin

Reserved

デプロイメントの自動化
ありあまる計算機を使いこなす方法：その２

Reserved

要するに…

ビルドができた
ら
どこかで動かそ
うというこ
と

Reserved

デプロイされる前に検証
• コンパイルが通った ≠ デプロイしてもよ
い

• そこでパイプライン
– 徐々に大掛かりなテストを実行
– 失敗したらそこでストップ
– ふるいに掛けて無駄なテストをしない
Unit
Build Int. Test Staging UAT
Test

Reserved

パイプラインの作り方：その１
• ウォーターフォールモデル
ビルド

結合テスト

品質検査
• 上流・下流プロジェクトで繋ぐ
• 実行可能プログラムをコピーするデプロイ

Reserved

流れ

時間

ビルドビルドビルドビルドビルドビルド

結合テスト結合テスト結合テスト

デプロ
デプロイ
イ

Reserved

ビルドパイプライン・プラグイン

Reserved

Promoted Buildsプラグイン
• プロセスフローではなく状態遷移を考え
る
– 状態遷移の必要条件を考える

品質検査
ビルド合格試験運用済
合格

• コンパイル成功 • カバレッジ 60%以 • UAT環境で三日以
• ユニットテスト通上上動作
過 • 結合テスト通過

Reserved

昇進モデルの利点
• 非同期
– 並列処理・リトライ可能性
• 枝分かれしたりと柔軟な形
• 安定的
– 昇進条件の詳細の調整が簡単
– チームとチームの境界はデータなので
• トリガの呪縛からの解放
– 契機になるイベントは何でもよい

Reserved

追跡可能性 (traceability)

Reserved

Reserved

機械による追跡可能性
• システム間に散在する情報を機械で追跡
– Dev: コミットID
– QA: バグID
– QA: テストの実行記録
– Op: デプロイの記録、現在実行中のバージョ
ン

©2010 CloudBees, Inc. All Reserved
51

CIサーバは三界の架け橋
• ソースコードはcommit IDで識別する
• バイナリはチェックサムで識別する
– Jenkinsではfingerprintと呼んでいる

• バイナリを使うたびにチェックサムを取
る
– テストで
– 運用で
– 統合先で
• 「名寄せ」する
Reserved

追跡可能性とパイプライン

時間

1a5d a820 83ad 2f03 02d9 ecda
ビルドビルドビルドビルドビルドビルド

1a5d 83ad 2f03
結合テスト結合テスト結合テスト

1a5d 2f03
デプロ
デプロイ
イ

Reserved

フィンガープリントの活用

Reserved

バイナリインテグレーションの奨め
• バイナリをリビルドしない
– 時間の節約
– 追跡性の向上
– 環境による差異の排除

Reserved

余談：分散バイナリリポジトリ
• 「コミットと共有の分離」 @ 分散VCS
• 同じ事がバイナリについても言える
– Maven snapshotをパイプライン的に使う？
– リリースが先か、検証が先か
• 歴史は繰り返す

Reserved

自動化による相乗効果

Reserved

三種の神器 →新・三種の神器
• ビルドスクリプト • デプロイスクリプト
• バージョン管理 • XaaS
• 自動化されたテスト • クラウド

相乗効果が個々の投資を正当化する

Reserved

まとめ
• 計算能力は湯水のように使えるようになる

– とにかく横に並べる
• ソフトウェア開発でも計算能力の新しい
活用の仕方が求められている
• 色々な技術の流れが後押ししている
– クラウド、仮想計算機、分散VCS、自動化

• Jenkinsはこういうニーズを吸収していく

Reserved

Reserved

計算能力の向上
• 今時のXeon: 1MB L2 cache
– PC-98シリーズ: メインメモリ 640KB

• “Your cell phone has more computing
power than NASA back in 1969”
• PlayStation today has more computing
power than military super computer of
1997

Reserved

他にも色々な実装が考えられる
• 中間サーバ方式
– 開発者はCIサーバへプッシュ
– CIサーバがテスト結果に応じて中央へプッ
シュ

Reserved

SaaSの台頭

Reserved

SaaSの台頭: SOASTA

Reserved

次っていうのはどっち？
• 品質検査
• ワークフロー
• 大規模インスタンス
の管理
• 検証済みマージ
…

Reserved

水平並列化
• Rackspace 56,000
• 1&1 Internet 70,000
• Facebook 70,000
• Google 1,000,000 (?)
• Microsoft, Amazon,
Yahoo, IBM, …

Reserved

複数のマシンに跨るジョブを作る
• 例：負荷テスト
同期: 準備完了

サーバ

クライアント #1




Reserved

Dist-fork: 分散スクリプティング基盤
• Jenkinsから一時的に計算機を借りる
– マシン名に依存しないsshのようなもの
$ java -jar jenkins-cli.jar dist-fork -l linux uname -a
– ファイルをコピーしたりも

• 用途
– OS別のインストーラの作成
– 負荷テスト

Reserved

更に一歩進めて
• 長く借りておく
$ jenkins dist-fork-lease -l linux –n node1
…
$ jenkins dist-fork –n node1 ./doSomething.sh
…
$ jenkins dist-fork –n node1 ./doMore.sh

• 後片付けはJenkinsに任せる

Reserved

• Antタスクにしたり
<jenkins:parallel degree=“3” name=“slave”>
<jenkins:copy2slave dir=“.” includes=“lib/*.jar”/>
<junit />
<jenkins:copy2master dir=“.” includes=“reports/*.xml”/>
</jenkins:parallel>

Reserved

• Groovyスクリプトにしたり
def jpool = new Jenkins().pool;
[1..10].eachParallel {
jpool.allocateSlave {
// この部分はスレーブ上で実行される
}
}

Reserved

あらゆる階層でテストの並列実行
• 複数スレッドで
– 拙作 parallel-junit
– TestNGとか
• 複数プロセスで
– 拙作 Maven JUnit plugin
– Maven Surefire
• 複数マシンで
– マトリックスプロジェクト

Reserved

Jenkinsの持つ情報を活用してテストを実行
• 実行順序制御
– 前回失敗したテストから
– 費用対効果の高いテストから
• 失敗時により多くの情報を集める
– 非対話性デバッガ YouDebug
– メモリダンプ・スレッドダンプ

Reserved

Selenium?
• Auto pointerのようなもの

• 仮想ディスプレイじゃなくヘッドレスで
• プロセスに埋め込んで
• プロクシ偽装でなくデータにアクセス
• コンソールのリダイレクト
• レイアウトの機械可読化
• Fault injection

Reserved

Jenkinsの持つ情報を活用してテストを実行
• 実行順序制御
– 前回失敗したテストから
– 費用対効果の高いテストから
• 失敗時により多くの情報を集める
– 非対話性デバッガ YouDebug
– メモリダンプ・スレッドダンプ

Reserved

分散VCS ♥
• コミットと共有の概念が分離している
– Subversion = 全員と共有 or 誰とも共有しな
い
– これを利用して明示的にブランチ操作をし
なくても検証済みマージができてしまう

• 開発の動機は違うがCIには相性が良い
– 分散・並列の時代にあっている

Reserved

自動化のバウンダリを広げよう
• 開発者の世界に起こったこと(CI)をその
外側へ適用しよう

• 左からコードをコミットしたら右からア
プリが出てくる仕組みを作ろう

Reserved

Developer summit continuous deliveryとjenkins

More Related Content

Developer summit continuous deliveryとjenkins

Editor's Notes