世界中のITエンジニアが悩まされている原因不明でテストが失敗する「フレイキーテスト」問題。対策の最新動向をJenkins作者の川口氏が解説（前編）。DevOps Days Tokyo 2022

テクノロジーカテゴリーの変更を依頼記事元:

www.publickey1.jp

852 usersがブックマークコメント

世界中のITエンジニアが悩まされている原因不明でテストが失敗する「フレイキーテスト」問題。対策の最新動向をJenkins作者の川口氏が解説（前編）。DevOps Days Tokyo 2022

世界中のIT エンジニアが悩まされている原因不明でテストが失敗する「フレイキーテスト」問題。対策の最... 世界中のIT エンジニアが悩まされている原因不明でテストが失敗する「フレイキーテスト」問題。対策の最新動向をJenkins作者の川口氏が解説（前編）。DevOps Days Tokyo 2022 世界中のIT エンジニアが悩まされている問題の1つに、テストが原因不明で失敗する、いわゆる「フレイキーテスト」があります。フレイキーテストは、リトライすると成功することもあるし、失敗する原因を調べようとしてもなかなか分かりません。GoogleやFacebookやGitHub、Spotifyといった先進的な企業でさえもフレイキーテストには悩まされています。このフレイキーテストにどう立ち向かうべきなのか、Jenkinsの作者として知られる川口耕介氏がその最新動向を伝えるセッション「Flaky test対策の最新動向」を、4月21日、22日の2日間行われたイベント「DevOps Days Tokyo 2

junorag コードかテストに問題が必ずあるみたいなコメントが多いが、名だたる一流の開発チームも苦労しているということから考えるに、そういう原理主義的な議論のフェーズはとっくに越えてる先のお話だと思う。

2022/06/06 リンク

Magicant 他のブコメ、そもそも問題意識が共有できてなさうなものが散見され、ある意味幸せ者なんだらうなあと

tobigitsune まさにこの記事にある通りの「教条主義的にフレイキーネスは絶対駄目なんだと言って周囲と摩擦を生む」人がブコメに散見されている

tagomoris Flakyなテストと日常的に戦ったことがあるかで聞く側の理解がぜんぜん違いそうな内容 / ビジネスロジックだけだと意識しなくてもdeterministicにできることが多いから

xlc 実例をあげないと訳が分からず怪文書にしかなっていない。/ おそらくはテストを正しく書くのが難しくてテストにバグがあるという話。/ 前編は釣り針らしい。

rasterson 計算機は自然現象ではないので、必ず原因はある。以前、メモリーを連続アクセスしたら割り込み発生する基板には参ったが、特定できれば理屈は通った。「原因不明」=「追いかけることを諦めた」ですよね。

tengo1985 とくに後編がめちゃくちゃおもしろいな。あえてシステマチックに無視するというのはたしかに抵抗あるけど合理的なんだろうな。テスト削る決断もできないことが多い。

maeda_a マルチスレッドとか並列プログラムのデバッグって、半世紀ほど前からの未解決問題。「単なるバグ」とか「突き詰めればわかる」とか言ってる人は容易に直列化可能な問題しか解いたこと無いんかも。

srng 世界の上澄みエンジニアがそれでも悩んでいる話なのに小さいこと言ってるブコメが目立つ。大企業の問題に対して中小企業の論理で訳知り顔で語るみたいな

richard_raw 私は単純なプログラムしか書いたことないのでピンと来ませんが、ビッグテックも頭を悩ませている普遍的な問題なんですな。

2022/06/07 リンク

harumomo2006 昔ACCESS98から2000への移植をしたとき同じUPDATEを連続で3回実行している時間のかかる処理があったので1回にしたら時々更新できない謎の現象が発生したので3回実行に戻したことがある。それ以降見たことない謎現象

dhrname 正月のモチつきで、つく人Aが「お先にどうぞ」とダイクストラ・メッセージを発して止まると同時に、こねる人Bが「お先にどうぞ」と譲って、Aが先につく。これで、排他制御なしで、「食事する哲学者の問題」を解ける

zatpek “フレイキーネスの発生にはいくつかのよくあるパターンがあって”「坂道、四ツ辻、川の側」という感じでワクワクするな。

frontline この話をスッと通すには受け入れる側に最低限の計算機科学的な知見が必要で、「環境なんてアプリが動くならいつだって一緒っしょ！」とか思ってるチームやリーダーには通じないのでウチで見かけても見ぬ振りしよ……

ryan_aircloset これはほんとに悩ましい。時間とか非同期とか原因が多岐にわたるのもまたつらいところだが、起きてから対処はもちろんテスト作るときにもっと対策を入れたいところ。

yoshikidz むかしCybozuでFlakyTestの話上がってた気がするな。一番最初に自分が遭遇した時めっちゃ地雷踏んだ感が毎回出るwリリースのタイミングだと原因わかるまで焦るし、ネットワーク系とか特定の高負荷環境下だともっと焦る

stamprally 原因不明、じゃなくて同じコミットなのにテストが通ったり通らなかったりするやつのことな。だいたい非同期な処理か外部依存の何かが悪さしてんだろという印象。特定しづらいだけで原因は必ずある。

strawberryhunter 宇宙線によるビット反転というわけでもなさそうなので、原因としてはテストかコードに問題があるけど、観測しつつ無視するという事か。弊社にはまだ高度過ぎるな。

未分類

queeuq まじで謎なやつあるんだよなぁ。FWのテスト機能がバグってるのかCIがおかしいのかメモリか静電気化お札か/川口さんのセッションだから海外で英語かと思ったら日本のイベントだったんだ。アーカイブ無いのかな。

taguch1 偉いエンジニアもはまってる問題だからお前らは黙っとれとかいう人たちは自分のチームでちゃんとコミュニケーション取れてますか。技術も大事だけど伝え方も同じくらい大事

naggg “テストが原因不明で失敗する、いわゆる「フレイキーテスト」があります。フレイキーテストは、リトライすると成功することもあるし、失敗する原因を調べようとしてもなかなか分かりません。”

NOV1975 「システムとしての挙動は正しいけど、結果を決め打ちして検証するテスト故に場合によっては通らない」ケースの話だよねこれ（バグではない）。まあ結果がバグなのかフレイキーなのかの判断って自動では難しいよね

asuka0801 Flaky Testに出会った事がないというITエンジニアは要するに固定値でのテストしか経験した事がないんじゃないだろか。Fuzzingでも流せばどんなシステムであろうと何処かしらでエラー吐くよ。

kamocyc ユニットテストだけ書いてるレベルじゃなくて、複雑なE2Eテストや複雑な分散システムのテストが大量にある状況で初めて問題になるので、「世界中のITエンジニアが悩まされている」が不正確なのでは？知らんけど

onesplat 超良い発表。FBがベイズ推定で真偽判定してるの面白い / この記事が理解できないとか、ただのバグでしょとか言ってる奴らは、恐らく決定論的で簡単なコードしか書いてないのだろう。ある意味で幸せ者なのかもしれない

Error401 正しいプロダクトコードに対して（ほぼ）正しいテストコードでテストしたら、大抵はパスするが、なんらかの要因でごくたまに失敗するテストコードが存在するという話。簡単に原因がわかないときにどう対処すべきか？

Kenju 1日に1回動くバッチが、数年に1回だけエラー停止する。どう調べてもコードに問題はない。そのままの環境でリトライすると正常終了する。すごく厄介。

latena たとえば金融とか医療みたいな領域とエンタメとか教育みたいな領域とを一緒くたにしてフレイキーテストを語ることはできないとおもった

test

nilab 世界中のITエンジニアが悩まされている原因不明でテストが失敗する「フレイキーテスト」問題。対策の最新動向をJenkins作者の川口氏が解説（前編）。DevOps Days Tokyo 2022 － Publickey

はてなブックマーク

世界中のITエンジニアが悩まされている原因不明でテストが失敗する「フレイキーテスト」問題。対策の最新動向をJenkins作者の川口氏が解説（前編）。DevOps Days Tokyo 2022

記事へのコメント93件

関連記事