世界中のITエンジニアが悩まされている原因不明でテストが失敗する「フレイキーテスト」問題。対策の最新動向をJenkins作者の川口氏が解説（前編）。DevOps Days Tokyo 2022 世界中のITエンジニアが悩まされている問題の1つに、テストが原因不明で失敗する、いわゆる「フレイキーテスト」があります。 フレイキーテストは、リトライすると成功することもあるし、失敗する原因を調べようとしてもなかなか分かりません。GoogleやFacebookやGitHub、Spotifyといった先進的な企業でさえもフレイキーテストには悩まされています。 このフレイキーテストにどう立ち向かうべきなのか、Jenkinsの作者として知られる川口耕介氏がその最新動向を伝えるセッション「Flaky test対策の最新動向」を、4月21日、22日の2日間行われたイベント「DevOps Days Tokyo 2

Motivation 上司に「E2Eテスト(ぽいの)担当して」って言われたけど、うーん、なんにもわからん というわけで調べた E2Eテストとは https://martinfowler.com/articles/practical-test-pyramid.html#End-to-endTests を読んでみた。(以下、ほぼ訳) E2Eテスト = End to end テスト ユーザーインターフェース(UI)を介して、デプロイされたアプリケーションをテストすること。 ソフトウエアが動作していることを確認する。 (想定: ブラウザを介したアプリケーション) ブラウザを開いて、クリックしたり、データを入力したりして、UIを確認する。 後述のUIテストとは違うのは、End to Endで(システム全体を利用して)テストする E2Eテストの課題 (意図せず)壊れやすい しばしば期待しない予測不可能

実際の稼働に近い動きをテストできるため、単機能だけの途切れ途切れのテストではない 表示されているボタンをクリックすると言った細かい挙動まで再現できる ブラウザに表示されている文言などもチェックすることができる 実際にサーバーやブラウザを起動するため、単機能のテストとは比べ物にならない時間がかかる 細かいUIのテストを実装すると、ちょっとした文言の変更で異常なほど落ちる テストに時間がかかるため、テスト駆動開発などをするときにまともな開発ができない テストが通るのを長い時間待った後に、テストが落ちた後のやる気の削がれ方が凄い E2Eの使い所 面倒だ！ 重い！ 壊れた！ とは言ってもどんなサービスにも、往々にして絶対に落ちて欲しくないシステム箇所は存在すると思います。 例えば重要な登録作業やそのサービスの根幹をなす、これが落ちてはこのサービスに意味は無い！ 危ない！といったような部分にはE2E

ソフトウェアテストは「バグを見つけるため」に行うものではない。実施した範囲内で、これ以上「バグが見つけられない」ことを証明するために行うもの。 この業界の方々でも、けっこー間違えて認識している人がいますよね。 まず「モノ作り」の基本大原則に触れておきましょう。それは、 「人間とは、完璧からは程遠い生き物である」 ということです。そのため、必ずバグ（不良、欠陥）は存在します。しないわけがないのです。もちろん運よく、たまたまバグが無いなんてこともありますが、少なくともその人が「今後も絶対にバグが無い」ことを100%保証するものにはなりえません。だって運よく、たまたまなんですから。再現性の欠片もありません。 そのため、JSTQB（ソフトウェアテスト技術者資格）認定の運営組織が定義している「ソフトウェアテストの原則をまとめたもの」として、 ソフトウェアの７原則 のなかでも、いの一番に取り上げられて

バグのないソフトウェアは作れないと言われますが、正しい命題はちょっと違います。「ソフトウェアにバグがないことは証明できない」です。 バグがないことが証明できない理由は、チューリングマシンの停止性問題が決定不能問題、有限時間内には答えの出ない問題だからです。 えっなんで停止性が有限時間内に判定できないとバグがなくせないの？ 等価性判定問題 バグのないことが証明できない理由は、停止性問題の系である「与えられた2つのチューリングマシンが等価であるか否か」判定問題がやはり決定不能問題だからだと説明できます。 バグを定義しましょう。ごく簡単です。「プログラムの仕様と異なる動作」のことです。 バグがないことを証明するとは、仕様という（頭の中にある）チューリングマシンと実装されたプログラムというチューリングマシンの2つを等価判定する問題です。この判定作業には無限に時間がかかるよと証明されてしまっている、

2019年10月に正式リリースとなった「E2E テスト自動化プラットフォーム Autify」を試す．今回は Autify の CTO 松浦さん (@dblmkt) に期間限定の検証アカウントを作っていただいた．ありがとうございます！ autify.com 今まで Selenium や Capybara (Poltergeist) を使った E2E (End to End) テストの導入経験はあるし，最近だと Cypress や Puppeteer を使う機会もある．とは言え，技術選択よりも「E2E テストを継続的にメンテナンスすること」に対して課題を感じる．仮説検証を繰り返すためにリリース頻度を上げていくと，あっという間に E2E テストも落ちてしまう．適当に XPath を修正したり，修正を諦めた経験もある． 今回紹介する「Autify」を使うと AI にシナリオのメンテナンスを任せられ

FactoryBot はフィクスチャのツールです。 多くのフィクスチャを必要とするときは Traits が便利です。 Setup Ruby on Rails に RSpec のテスト環境を構築して確認しましょう。 今回はコンソールモードで確認します。spec/factories のファイルを修正するとコンソールで FactoryBot.reload を実行してください。 mkdir factory_bot_rails_example && cd factory_bot_rails_example/ && rails new . --api -BT echo "gem 'pry-rails', group: [:development]" >> Gemfile echo "gem 'factory_bot_rails', group: [:development, :test]" >> Ge

Rails Developer Meetup 2019での発表資料です！可読性の高いテストコードを書くためのコツについて話しました

JavaScript Advent Calendar 2011 (Node.js/WebSocketsコース)3日目のhokacchaです。Node.jsのテストフレームワーク、mochaについて書きます。 mochaはTJが新しく作り始めているテストフレームワークです。ドキュメントを見ればできることは大体書いてありますので、ドキュメントを元にどういうことができるのかを解説していきます。現時点でのバージョンは0.2.0です。 http://visionmedia.github.com/mocha/ shouldについて まずmochaでどういうことができるかの前にshouldについて解説しておきます。mochaのドキュメントには特に説明もなくshouldが使われていて、shouldでどういうことができるかわかってないと、ドキュメントを読んだときにmochaの機能なのかshouldの機能なの

DHHの"TDD is dead. Long live testing."を、訳してみました。 翻訳 やっとむ By David Heinemeier Hansson on April 23, 2014 著 David Heinemeier Hansson 2014年4月23日 Test-first fundamentalism is like abstinence-only sex ed: An unrealistic, ineffective morality campaign for self-loathing and shaming. テストファースト原理主義は禁欲のみを唱えた性教育のようなものだ。つまり、自己嫌悪に陥っている人に向けた、非現実的で効果のない、道徳教育のようなものだ。 It didn't start out like that. When I first disco

ウェブアプリケーションのJSのテストするのにCasperJS使ったら便利だった． CasperJSはPhantomJSにテスト用ユーティリティがついて便利になったやつ． JS，MVCできれいに書いてると，Modelの単体テストとかできるけど，昔ながらの感じだと，ここをクリックしたらこれが表示されること，みたいなテストを書くことになる．けどライブラリとかいろいろあってどれを使えばよいか分からなくて敷居が高い．CasperJSを使ったらこれだけで完結してテスト書ける． PhantomJSは単なるブラウザだけど，CasperJSはテストのフレームワークとか，DOMのテスト関数とかがついてる． 非同期なタスクの実行の仕組みも入ってて，casper.thenっていうのを順番に書いていくと，順番に呼んでくれて，click()して，casper.thenしたら，ページ遷移したら次のページに移動してる．ス

2013.03.02 CLR/Hでの発表資料です. http://clr-h.jp/Home/tabid/40/ModuleID/396/ItemID/30/mctl/EventDetails/language/en-US/Default.aspx Read less

テストしてますか！ スマホブラウザ対応の結合テストとか辛いですね。そうですね。 というわけでSeleniumでiOSシュミレーターのブラウザを動かして見ました。 Seleniumには、iPhone driverというのがあるのでそれを使いますです。 http://code.google.com/p/selenium/wiki/IPhoneDriver 以下の行動をとります。もちろんMac上です。 XCode の4.2以上を入れます #git clone https://code.google.com/p/selenium/ #cd selenium #./go iphone #open iphone/iWebDriver.xcodeproj #Xcode が立ち上がるはずなので、適切なiPhoneを選択し、Runします 上記が全部うまくいくと、Xcodeのシュミレーター上で、RemoteD

Jasmine Headless WebKit Run your Jasmine specs at sonic boom speed! Jasmine is great. I love it. But running Jasmine when you need to test code that will run in a browser environment can be problematic and slow: The Jasmine gem's server makes getting up and testing very fast, but F5-ing your browser for each test run is distracting. Jasmine CI uses Selenium, which speeds up the process a bit, but

Seleniumでテストをしてゆきたいんだけど、Railsで使うパターンは結構みかけるものの、単純にRubyで制御したいだけの記事がちょっと見つからなかった。ということでテスト。 試した環境は以下の通り MacOS10.5.5 Ruby1.8.7 P72 Java 1.5.0_16 Firefox3.0.3 Selenium IDE1.0b2 Safari 3.1.2(5525.20.1) まずは、Selenium-RCをダウンロード(1.0 beta1) http://selenium-rc.openqa.org/download.html これを解凍すると以下のフォルダが展開される。 selenium-dotnet-client-driver-1.0-beta-1 selenium-python-client-driver-1.0-beta-1 selenium-java-client

Node.jsで使えるTDD, BDDフレームワークはいくつかあるのですが（nodeunit, Jasmine, etc）コールバック・イベント周りのテストのしやすさとCoffeeScriptが利用出来る Vows が非常に熱い感じです。 特にテストコードをCoffeeScriptで（別途コンパイルせずに）そのまま記述出来るのは、テストコードの可読性を考えると大きなメリットだと思います。 Vowsのインストール# VowsはNode Package Manager（npm）でインストールする事が出来ます。vowsコマンドを有効にするためにカレントディレクトリの node_modules の他にグローバルにも入れておきましょう。 npm install vows npm install -g vows Vowsを使った開発手順# サンプルとして自分のフルネームを返す事しか出来ないPerson