ぼくとJenkinsおじさんの360日戦争
- 2. 自己紹介 • 2012年度新卒としてミクシィに入社 • 趣味でPerlの処理系を作っている • 技術部たんぽぽGに所属 – たんぽぽGって何？ : 開発者のための開発を行う – 具体的にどんなことしてるの？: • 技術的負債を効率的に返済するための ツール作成 • mixi.jpのJenkinsの保守・運用
- 4. アジェンダ • おじさんをどうにかするための準備 – mixiのテスト環境と課題の把握 • おじさんとの闘い、そして… – テスト実行フローと課題解決 • おまけ – ｍixiとおじさんのアブノーマルな関係 • mixiの変わったJenkinsの使い方の紹介
- 7. Full testの中身と実行環境 • 言語 : Perl • テストファイル数 : 18000以上 • テスト項目数 : 25万以上 • 実行環境（Jenkins Slaveのスペック） • CPU : 24 core (Xeon 2.67GHz) • Memory : 64GB
- 8. テスト所要時間 min
- 11. テスト実行フローと課題解決
- 12. テスト実行の仕組みを詳細に 理解する • 高速化のアプローチを考えるため、 テスト実行の仕組みをもっと掘り下げる 1. Jenkins X Perl - テスト実行フローの理解 2. 並列実行の問題とFixture - テスト実行方法の理解
- 13. 1. Jenkins X Perl
- 14. Jenkins X Perl Perlのテストファイル(18000) Jenkins Prove テスト実行 1..1 ok 1 TAP形式の出力 収集 1 2 3 JUnit形式のXMLファイルを生成 4 5 結果を読み取って表示
- 15. Jenkins X Perl Perlのテストファイル(18000) Jenkins Prove テスト実行 1..1 ok 1 TAP形式の出力 収集 1 2 3 JUnit形式のXMLファイルを生成 4 5 結果を読み取って表示 この２つについて もう少し詳しく解説
- 16. ProveとTAP • Prove – テストの並列実行・再帰的実行をサポート – 失敗したテストだけ実行するなど多機能 – テスト側がTAP形式で出力することをサポートし ていれば、他言語でも利用可能 ex) prove --ext=.js --exec node • TAP(Test Anything Protocol) – 成功なら「ok」、失敗なら「not ok」 – とにかくシンプル！ # test : xxx ok 1 – pattern1 ok 2 – pattern2
- 20. Fixture • テスト毎に同一データから別DBを作成し て、それを参照する DB(MySQL) Prove 並列実行テストA テストB Insert select delete select insert select DB(MySQL) テストA用のDB テストB用のDB create create
- 23. 高速化アプローチ • モジュール読み込み時間を削る –forkprove : proveで並列実行する際、fork して子プロセスで行う • 親プロセスでモジュールをロードすることで、 子プロセスでのモジュール読み込みが発生しない • Fixtureで生成したDBをキャッシュする – 一度DBを作成したら、Write処理 (Insert, Update, Delete)が発生するまでDBを使い 回す • DB生成コストを削減
- 24. しかしそう簡単にはいかない • よくも悪くもモジュールを先読みすると 不整合を生じるケースがある – モジュールの読み込み順が大事な場合など • 生成したDBをCacheする機構は実装が難 しく、実装コストと効果が釣り合うか分 からない – ReadOnlyなテストがどれだけあるのか、調査 が必要
- 25. しかしそう簡単にはいかない • よくも悪くもテスト側でモジュール読み込み を行わないと、不整合を生じるケースがある – モジュール読み込み時をhookして何かやる場合 など • 生成したDBをCacheする機構は実装が難し く、実装コストと効果が釣り合うか分からな い – ReadOnlyなテストがどれだけあるのか、調査が 必要 どうしたものかと悩みに悩む… もはや高速化することはできないのか
- 28. min
- 31. remotetest • 負荷のかかるテストはJenkinsを介して行う 開発者 個人開発環境サーバ ログイン Jenkins Jenkins Slaveサーバ git://git.mixi.jp/repo.git –b branch 開発中のブランチをJenkinsに投げてしまう 空いているslaveでテストを実行 低スペック 高スペック
- 34. おわりに • remote testにも適した軽量CIツールの 導入が期待される • 構想はあるので、試しに作ってみます