はじめに
こんにちは。QAエンジニアの佐藤です。
以前ブログを書いたのが1年以上前ですね... 時間が経つのは本当に早いです。
tech.andpad.co.jp
あれからSlackのアイコンは複数回変わり、今は "ミミッキュ" ではありません。
ということで、
Autifyを1年3ヶ月使い続けてきた振り返りをしてみたいと思います。
autify.com
目標に対しての達成率
以前のブログで
現状は、当初目標としていた主要動線テストの1/3を自動化できましたが、今年中には1/2以上は自動化していきたいと思っています。
と目標を立てていました。
実際どうだったでしょうか？(`･ω･´)
・
・
・
達成しました＼(^o^)／ 888
今年の4月に行われたイベントで 88% を自動化できている、と報告がありまして、
Autifyで自動化できるケースは自動化しきりました。
目標達成していますね！
自動化できないケースって？
現状Autifyですべてのケースは自動化できません。
具体的には以下のケースは手動でテストを行っています。
- ドラッグ＆ドロップ
- PDF出力
- デスクトップ通知
また、複数のブラウザでテストを実行しているのですが、アップロード機能が IE11 では対応していないため、 IE11 のみ手動でテストしています。
今後のアップデートで対応されたら自動化していきたいと思っています。
Autifyを使用するサービスの増加
Autifyを導入した当初は、アンドパッドの主力プロダクトである施工管理機能（写真・資料・報告・工程表など）でのみ利用していました。
2021年9月現在では、以下のプロダクトでAutifyを導入しています！
どのプロダクトも、プロダクトのメンバーから「Autifyを導入したい」とご連絡をいただきAutifyの導入が始まっています。
私から普及活動を積極的にできておらずだったのですが、開発者の方々やPdMから、Autifyやりたい！と言っていただけるのはすごくうれしいです(^^♪
各プロダクトへの導入時に、どのような目的で自動化したいのかを明確にし、進め方や作り方を決めています。
なので、プロダクトごとに実行環境や、実行タイミングなどは異なり、Autifyのナレッジも蓄積されています。
テストプランの活用例
自動テストを実行するタイミングは、現状以下の2パターンです。
- リリース前
- デイリー
実際にテストプランをどのように作成して運用しているかを紹介したいと思います。
事例１：リリース前のリグレッションテスト
| 実行環境 | 実行手段 |
|---|---|
| Production(社内公開) | 手動実行 |
リリース前の社内公開のタイミングで、手動で2つのテストプランを実行しています。
1つ目のテストプランは、5ブラウザ全てで成功するシナリオで作成しています。
Edge Legacy のみ失敗してしまい、Autifyにお問い合わせ中のシナリオも追加しているため、注釈として失敗する旨の記載も行っています。
2つ目のテストプランは、アップロード対応されているブラウザのみのシナリオで作成しています。
なぜ2つ？と感じられていた方もお気づきかと思いますが、特定のブラウザに対応されていない機能のシナリオがテストプランに含まれていると必ず失敗してしまいます。
アンドパッドでは実行結果をSlackで通知しているのですが、失敗時どのシナリオが失敗しているかを確認する必要があり、失敗するとわかっているものを毎回確認するのは案外手間です。
よって、特定のブラウザに対応されていないシナリオのテストプランを分けることで、常に安定するテストプランを作成するように心がけています。
ただし、状況によって注釈で 必ず失敗する と記載し、運用回避することもあり、実際のところまだ悩んでいたりします。。
事例２：デイリーのリグレッションテスト
| 実行環境 | 実行手段 |
|---|---|
| Staging | 定期実行 |
検品環境に定期的に開発中のコードをマージしている場合、定期実行で複数のテストプランを実行しています。
ログイン導線での失敗は開発チームへの影響が大きいため、平日3回定期実行を設定しています。
ユーザーシナリオ・機能別シナリオに関しては平日の朝に定期実行を設定し、出社後に実行結果を確認しています。
定期実行を設定していると毎回実行結果を確認する必要がありますが、失敗の通知が来ているとチームのどなたかが確認してくださり、見逃さずに運用できているのでとても素晴らしいなと思っています。
確認担当者を決めずとも自主的にAutifyの結果を確認しているのってすごいですよね。。✨
Slackの通知には 要確認 の件数が表示されないので、毎回テスト実行結果の画面を確認する必要があるため、Slack通知にも要確認の件数が記載されているととてもうれしいなぁ、と思っています(/ω＼)
Autify for Mobile のトライアル開始
Autify for Web の社内認知度が高まる中、最近ついに Autify for Mobile のトライアルを始めました。
autify.com
主にアプリエンジニアの方々がトライアル中で、今後Webだけではなく、アプリも自動化が進むのではないかなぁと期待しています。
さいごに
Autifyを導入して1年3ヶ月経ち、Autifyを使うプロダクトが増え、アプリでもAutifyを使っていきたいという声が上がり、アンドパッドにAutifyがすごく浸透したなぁというのを振り返ってみて感じました。
引き続きAutifyを活用して自動化できるところは自動化していき、自動化した時間で品質向上に向けた取り組みが行えていけるとよいなと思っています！
アンドパッドでは、一緒に働く仲間を募集中です！
ぜひ採用サイトをご覧ください。
