Firefoxの動作テストには、Litmusのような手動のもののほかに、自動化されたテストがある。Sisyphus（シーシュポス）と呼ばれるシステムを用いて実施されるが、その名が示すとおり、動作テストは終わりのない作業だ。Firefox 3では、Alexaが提供する上位100万のWebサイトを対象に、チェックが行われた。
Firefox 3.1でも、ようやくそのレベルに到達しつつある。クラッシュ、メモリリーク、警告の有無を調べ、問題が見つかればテストケースの形に圧縮して、QAチームがBugzillaに登録する。10万のサイトのフロントページをテストするのに三週間を要するというから、手間暇のかかる仕事である。とくに、Firefox 3.1はTraceMonkeyといういわば「重火器」を積んでいる。威力は抜群だが、まだまだ壊れやすい。しっかりしたテストが不可欠だ。
現在、100万サイトをテストするための準備が進められている。また、トップ1000の拡張機能を搭載した状態でのテストも計画されているという。こうした地道な作業の積み重ねが、堅牢なWebブラウザ作りに大きく貢献していることは間違いない。
