2019-12-18の Spring Fest '19 で登壇させてもらいました。みなさまありがとうございました。 資料 Springアプリケーションのテスト道具 使いどころ、使わないどころ です。タイトルの「使わないどころ」って日本語的に不自由な感じなんですが、「使うべきでない」とか禁止ではなく、プログラマとして「使わない」と意思を込めてる感を出したくてこうなっています。いい名前が思いつかないので変な名前をつけて、結局最後までいい名前が思いつかなかったパターンです。 なおこのセッションは、2019-07-18にこのブログで書いたどこでモックを使おうかを下敷きにしたものです。 補足もしくは蛇足 49-52ページ: テストで動かせる範囲とモックの例です。例なのでテストしたい対象見極めたら何とでもなると言うのと、それができるアーキテクチャが役立つよねと言う感じ。この一連の図は機能面で、ここで話

こんにちは！　開発部の@ahiru_starrrです。 本稿では、ZOZOTOWN iOSにSnapshotTestを導入したのでその経緯や導入方法、導入するメリット・デメリット、どんな場面で役に立つのかなどについて書いていきます。 SnapshotTestがどのようなものかよく分からない方や導入を検討している方々のお役に立てれば幸いです。 SnapshotTestとは SnapshotTest導入の背景 2つの課題 エンジニア ↔︎ デザイナー間のコミュニケーションコスト レガシーからモダンへの取り組み 導入方法 環境変数を設定 実装方法 テストクラスを作成 recordModeを設定 テストコードを実装 フォルダ名を設定 ファイル名を設定 stubの設定 FBSnapshotVerifyView SnapshotTestのユースケース リファレンス画像を生成 SnapshotTest!

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

つらい打鍵テストをCIで回して、テスト結果をWebダッシュボードでチーム内に共有しようというお話です。 はじめまして。枇榔（びろう）です。サーバ内の脆弱性を検出して管理するWebサービス、FutureVuls( https://vuls.biz/ )の開発をしています。 100台から数千台といった大規模なサーバ運用をしている方向けの、サーバ内の脆弱性情報管理を楽にするWebサービスです。OSSの脆弱性スキャナVulsに、チーム運用向けの機能（タスク管理・自動トリアージ・他チームへ情報共有・脆弱性情報のリスト管理など）を追加したものになります。 https://vuls.biz/ の右上から新規登録ですぐに使えるので、ぜひお試しください。 マイクロサービスのテストが打鍵になりがち問題さて、そんなFutureVuls。画面側はReact、裏側はいくつものコンテナという構成で動いています。 AW

ペアワイズ法を使うことで、効率的にテストケースを絞り込めることがわかったかと思います。 --- 2019/10/31 追記 --- どうしてテストケースを絞り込んでも大丈夫なのか？という意見がSNSやはてブのコメントで見受けられたので、フォローアップエントリを書きました。こちらも合わせてご覧ください。 ペアワイズ法は本当に有効なのか？組み合わせテスト技法と上手に付き合う方法 ｜ DevelopersIO ペアワイズ法を支えるツール「PICT」 ペアワイズ法が有効なことはわかりましたが、この組み合わせをどうやって作れば良いでしょうか？条件の数が少なければ前述のように手作業でもやれないことはありませんが、現実の問題はもっと複雑ですので、到底無理でしょう。 そこで役に立つのが、ペアワイズ法のテストケースを生成してくれるツール「PICT」です。 microsoft/pict: Pairwise I

最近は Lambda Function を TypeScript で実装することが多く、テストツールとして Jest を選択しました。導入から基本的なテスト、カバレッジ出力までやってみたので、その手順を記録します。 ユニットテストのモチベーション 変更に対する心理的な安全性を手に入れるため、という理由が大きいです。 たとえば API Gateway のバックエンドを Lambda Function で実装する場合。実装だけであれば、可能な限り any 型を使用せず、 interface や type の有効活用によりデータ型に起因する実行時エラーは大幅に少なくできます。 TypeScript を使うメリットのひとつですね。ではサーバーレスならではの難しいポイントはどこかというと、私の場合 前作った Lambda Function の挙動をすぐ忘れる ということがよくありました。それで、 L

うちのチームのプログラマーはテストが好きかどうかは分からないけど「これよく見つけたなー」と思うようなバグを見つけてくるからテストがうまいと思う。で、なんでうまいのか考えているのだけど「毎日１時間、システムレベルのテストをしている」のが、うまくなる要因の一つなんじゃないか。— miwa (@miwa719) 2019年6月24日 医用機器（自社製品）のソフトウェア開発に従事して、あと数年で３０年になります。いろんなチームに所属し、多くの開発者と一緒に仕事してきましたが、現在所属しているチーム（うちのチーム）のプログラマーはテストがうまいです。プログラマー時代の自分と比較してもそう思いますし、『ソフトウェアテスト』という側面から製品開発を考えられるようになった今の自分から見てもそう思います。いいバグを見つけたなぁ…（素晴らしい）と思うことが多々あります。 うちのチームのプログラマーはなぜテスト

Railsをお仕事で使っている方はみんなE2Eのテストで時々失敗するやつに苦労しているんじゃないかなと思います。 @mtsmfmさんの発表スライドが詳しいので基本的にはこれで大体のケースには対応できるはず。 スライド読むのがめんどくさい人向けに、一部抜粋かつ要約すると なんらかの要因(CSSアニメーションや画像のロード)でDOM要素が移動する場合にクリックをミスしてしまってテストが失敗するケースが「時々失敗するテスト」の大多数を占める という話になります。これを防ぐためにはCSSのアニメーションをオフにしたり、↓のようなメソッドを利用して画像が完全にロードするまで待ってからクリックする、という方法があります。 def wait_for_image_loading Timeout.timeout(Capybara.default_max_wait_time) do sleep 0.5 unt

初めに みなさん、こんにちは！ 株式会社LIFULL SETグループの@rueyjyeです。 自動テストフレームワーク「Bucky」をOSSとして公開しました！ 直近にSeleniumConf Tokyo 2019と弊社のイベントLtech#6 Quality Talk Night！も発表する予定ですが、 実際の動かし方をこの記事でご紹介します。 今回はテスト実行部分のBucky-coreのハンズオンを実際にやってみます！ Buckyとは 一言というと、 YAML形式で書いたテストコードが実行でき、実行したテスト結果を簡単にレポートにできるツール です。 ※ 他にも機能があります Buckyは二つのリポジトリで構成されています。 テストコード実行を担当：Bucky-core テスト結果レポート担当：Bucky-management Bucky-coreのハンズオンをやりましょう 百聞は一見

DynamoDB のダウンロード可能なバージョンである Amazon DynamoDB ローカルの使用がさらに容易になり、新たな DynamoDB ローカルドッカーイメージを用いての DynamoDB アプリケーションの開発とテストに役立ちます。 新しい DynamoDB ローカル Docker イメージでは、お使いの開発環境ですべての依存性と必要な設定が組み込まれた状態で実行されている DynamoDB のバージョンを用いて、アプリケーションを素早く構築、試作できます。新しい Docker イメージではまた DynamoDB ローカルを、継続的な統合テストの一部としてコンテナ化されたビルドに組み込むことも可能です。DynamoDB ローカルの使用にはインターネット接続も不要で、DynamoDB ローカルは既存の DynamoDB API 呼出しと共に動作します。DynamoDB ローカル

Microsoft、オープンソースの自動UIテストスクリプトツール「WinAppDriver UI Recorder」を公開：自動UIテストのスクリプトを簡単に作成できる Microsoftは、Windows 10対応のUI自動化サービス「WinAppDriver」の新しいオープンソーステストスクリプトツール「WinAppDriver UI Recorder」を公開した。 Microsoftは2018年6月20日（米国時間）、「Windows Application Driver」（WinAppDriver）コミュニティー向けの新しいオープンソースツール「WinAppDriver UI Recorder」（以下、UI Recorder）の公開を発表した。UI Recorderは、自動化されたUI（ユーザーインタフェース）テストのスクリプトを簡単に作成できるツールだ。 WinAppDrive

■ モチベーションサービスを継続的に改善していく上で、バグを避けることはできません。そこで、バグが混入した時にそれにいち早く気付ける仕組みが必要になります。 Webサービス開発ではふつう、ユニットテストを書きます。一連のページ遷移（動線）をチェックするE2Eテストを書くこともあります。これらを用いることで、バグに簡単に気づくことが出来ます。 しかし、フロントエンドのエラーには微妙なページデザインの崩れなども含まれます。この場合、単にDOMの存在やページ遷移の可否をチェックするだけでは不十分です。 このようなエラーチェックに関しては、2018年になった今も、人が直接見なければ良し悪しがわかりづらいというやっかいな側面があります。かといって、主要なページを毎日手でチェックするのは非常に手間がかかってしまいます。 ■ 自動でページのスクリーンショットを取るそこで、ChromeをNodeから操作す

最近、FMPictというテスト設計自動化ツールを作りました。 https://github.com/hiro-iseri/fmpict FMPictは、FreeMindのモデルからテストケースを生成するテスト設計自動化ツールです（PICTを制御して実現しています）。nワイズカバレッジ(n:1～3)を100%網羅するテストケースを生成できます。オールペア法ツール、クラシフィケーションツリー法ツールとして利用可能です。 ツールは以下のメリットを持ちます。 マインドマップでテスト条件をモデリングできます。それにより、テスト条件の抽象構造やグルーピング構造をわかりやすく表現できます。 ツリーモデルの記法的制約（*）の回避手段として、リンク記法とタグ記法という機能を加えています。これによりツリーの重複をなくしたり、複数のツリーを一つのツリーにまとめて描いたりすることが可能です。 PICTをマインドマ

Facebook 製 JavaScript テストツール Jest を使ってテストする ( Babel, TypeScript のサンプル付き ) 福井祐人 この記事はRECRUIT MARKETING PARTNERS Advent Calendar 2017の投稿記事です。 はじめまして。11月にJoinしたフロントエンドエンジニアの福井（@fukumasuya）です。チームではスタディサプリEnglishのWebブラウザ版の開発を担当しています。 突然ですが皆さんはプロジェクトでJavaScriptのテストをするときにどのツールを使うか迷うことはないでしょうか？フレームワークは？アサーションライブラリは？テストランナーは？テストカバレッジはどうするか？などなど決めないとダメなことが多く苦労していませんか？そんな皆さんにはFacebook製オールインワンテストツールのJestをオススメ

何年も前、SeleniumやWebDriverの話で盛り上がった記憶があります。ただ、その当時はまだRailsなどバックエンド中心の文脈でした。今、フロントエンドに軸足が移る中、ブラウザテストの状況はどうなったのでしょう? 不思議なことに、フロントエンド界隈でそれほど話題に上がって来ないですよね (私の周りだけ?)。結構大事なのに。実は皆さん、「Seleniumアレルギー」なんじゃないですか? 公式サイトに漂う ゼロ年代感(下図)。Javaへの躊躇、「めんどくさい」と聞かされ続けた過去、無意識に避けてしまうのがSeleniumです。 ただ、フロントエンドの文脈でこそ、ブラウザテストは重要度を増しています。そこで「Selenium触りたくない病」の筆者が、 四苦八苦した背景 と、2016年だからこそ 見えてきた落とし所 を書いてみたいと思います。 註: 思ったより長文になってしまいました。先

ヘッドレスChromeでシンプルに自動テストを行う Google Chromeのバージョン59から標準搭載された、ヘッドレスモード（GUIがないモード）。コマンドラインからヘッドレスブラウザを立ち上げることができ、スクリーンショットの撮影を行ったりDOMを出力したりすることができます。自動化の可能性に満ち溢れた機能です。 ヘッドレスChromeの導入については、次の公式ドキュメントが詳しいです。 ヘッドレス Chrome ことはじめ  |  Web  |  Google Developers ドキュメントを読んでいただくと分かると思いますが、様々なことが可能なため指示の記述が少し冗長な面があります。 そこでヘッドレスChromeを用いた自動化処理をシンプルにすることに特化した便利ツール「Chromeless」を紹介します。 なお、今回実装したソースコードはGitHubで公開しています。わせ

このキャプチャーを利用します。 テストエクスプローラにはテスト結果が表示されます この時点で何をどうするか分かったと思います。 MSTestなどでテストするとテストエクスプローラにテスト結果が出ます。 失敗したテストを選択すると、アサーションなどに出力されたエラーが表示されます。 このエラーを表示する内容に、先ほどの画面キャプチャーを組み込むことで、 テストが失敗したらエラーメッセージから失敗時の画面のキャプチャー画像を見ることができます。 コード コードが見やすいように不要コードは取り除きました。 public string CaptureWebPageToFile(string filePath) { // ページイメージをファイルに保存する var now = DateTime.Now; Screenshot shot = null; do { shot = ((ITakesScre

スピード重視の開発体制を実現するために、KARTEの開発で取り組んでいるテスト自動化について紹介します。Selenium webdriver, CircleCI, Ghost Inspector