この3つのテストケースは、同じフォーマットを使用しているのに各項目の記述内容が異なっている。テストケースの「分類1」でAさんは「登録ボタン」、Bさんは「入力項目」と異なる画面のパーツを指している。Cさんは「データ登録」と操作内容を示している。分類2や分類3も同様で、3人でバラバラの言葉を書いている。 しかし、読んでみると、どれも入力フォームに金額の値を入力して、登録ボタンを押した場合の挙動を確認させようとしている。これだけ表記のばらつきがあると、テスト実行者が混乱してしまうだろう。 さらに、期待結果（テストケースの「期待値」）の記載粒度が異なっていることも分かる。 Aさんはエラーチェック処理ごとに、エラーメッセージの出力が設計通りに実装されているかどうかを確認しようとしている。Bさんは、エラーチェック処理の入力データの境界値（振る舞いが変わる境目）を網羅しようとしている。Cさんは期待値を「

こんにちは。メルカリのテストエンジニアとして、スマホアプリのテスト自動化をぶりぶりしている@daipresentsです。 テスト自動化をすすめるにあたり、効率のよいテストを作るために、既存のテストケースについて調べる機会がありました。その過程で現状のQAプロセスも確認したのですが、以下のようなテストケース管理の課題があることがわかりました。 それぞれのテストエンジニアが、それぞれの方法で、それぞれのテストケースを管理しているため、ナレッジが横につながりにくい。 共有されているリグレッションテスト項目の更新が追いついておらず、情報が古くて使いにくい。 人数が増えてきて、ふりかえりや改善がやりにくい。 １については、現在、職能横断的なチーム構成になっているため、プロジェクトやプロダクトに集中できる環境である反面、それぞれのチームにいるQAエンジニアどうしのつながりが薄れてしまうことが原因に感じ

お世話になります、フロントエンド担当をしている小原正大です。Webページの表示を監視して差異があった場合、どのページで表示の変化が起きているかを知ることが出来るプログラムを実装したのでそのことについて書こうと思います。 何につかったの？ 僕がフロントエンドを担当しているサービス『料理サプリ』で大規模なフロントエンドコードのリファクタリング行う際に表示テストを自動化するために作成しました。『料理サプリ』はPC・スマホ合わせて大体350-400ページの表示パターンが存在する比較的規模の大きいサイトです。全ページに影響を与えるような作業は大規模な回収となり、今回のリファクタリングでは表示テストの計画などの段取りが必要でした。従来の人手によるQAでは細かいバグを見過ごしたり時間がかかり効率が悪いので、可能な限り自動化しようと考え実装しました。 実装の概要 この監視のシステムは以下の２つ実装を組合わ

IEの寡占化状態が終わり、Google Chrome/Firefox/Safariなど様々なブラウザによるシェア争いが続いています。さらに各ブラウザともバージョンアップが激しくなっており、バージョンごとのチェックがとても難しくなっていることでしょう。 そこで使ってみたいのがWebブラウザのテストを自動化するサービスです。様々なサービスがありますので、ぜひチェックしてみてください。 BrowserStack 300種類を越えるブラウザをWebブラウザ上で動かすことができます。IE6以降から揃っているようです。スマートフォンにおいてはiOS、Android、Operaといったブラウザが利用できます。 デベロッパーツールもインストールされており、FirebugやYslow、Dragonflyのようなツールも利用可能です。開発補助系ツールが予め入っているのは便利そうですね。 Cross Brows

最近テストの抜け漏れをどうやってなくすか実験しています。これ、もっといい感じに取り組めたら、論文とかにしたいんですけど、まだいい塩梅にならないので、まぁブログでもいいかなぁとか思ってやっています。 やっていること ざっくりと言えば 仕様書とテスト仕様書(テストコード)を形態要素解析して名詞の重複有無や頻出の傾向を比較する。 こうすると、「仕様書にある単語がテスト仕様書に出てきていないけど、テストないの？」とか「仕様書でちょっとしか出てきていない単語が、テスト仕様書にいっぱい出てきているけどそのテスト無駄じゃない？」とか。言えるのかな？って試している感じです。 ところでテストケースは不足しているものが多い で、まぁ概ね使えないんですけど、もうちょっと工夫すればいい感じになりそうだなぁと思っています。これによって変わったのは、「やらないテストも実装する」ということですね。どんな理由でもいいので

Coded UI tests (CUITs) drive your application through its user interface (UI). These tests include functional testing of the UI controls. They let you verify that the whole application, including its user interface, is functioning correctly. Coded UI tests are useful where there is validation or other logic in the user interface, for example in a web page. They are also frequently used to automate

開発現場で保守性の高いTDD／BDDを実現するための3つのポイント――テストレベル／網羅性とは：いまさら聞けないTDD/BDD超入門（4）（1/3 ページ） 連載目次 前回の『TDD／BDDにおける「振る舞い』の意味するところとは何なのか」までで述べたような、TDD／BDDを導入するときには、現場で「で、今までやってきた単体テストと結合テストって、どうやってこれに組み込めばいいんだっけ？」「網羅的なテストをどうやって書けばいいんだろうか？」「テストを先に書くだけくらいにしか違いがないのではないだろうか？」などの疑問が出てきます。 今回は、これらの導入時の疑問を解決するようなパターンを紹介します。まずは説明のためにいくつかの言葉の定義を紹介してから、どういったことで保守性の高いTDD／BDDを実現できるかを紹介します。 テストレベルの定義 大まかに言えば、「テストレベル」とはテスト対象の大き

テスト自動化の導入理由や効果測定をROIという観点で説明できるように、テスト自動化のROIの概念から実際の計算式までを解説する連載です。 連載目次 はじめに：本連載について 本連載を担当しますテスト自動化研究会（STAR）の太田健一郎と申します。本連載では、読者の皆さまがテスト自動化の導入理由や効果の測定をROI（return on investment、投資利益率、投資収益率、投資回収率）という観点で説明できるように、テスト自動化のROIの概念から実際の計算式までを数回にわたって解説させていただきます。 連載の流れは以下の通りです。 テスト自動化とROI ROIの試算式の構成要素と試算式 ROIの試算式の詳細と実際 本連載の対象読者は以下を想定しています。 テスト自動化を推進するエンジニア テスト自動化の定性的な効果は理解しているが、定量的な説明がうまくできないエンジニア 本連載で取り上

JenkinsとSeleniumでJavaScriptのテスト自動化、最初の一歩。第1回 日本Seleniumユーザーコミュニティ勉強会 1月18日に都内で開催された「第1回 日本Seleniumユーザーコミュニティ勉強会」。Seleniumプロジェクトの共同設立者であるJason Huggins氏による基調講演に続いて、有志によるライトニングトークが行われました。 本記事ではその中から、玉川紘子氏による「Jenkins x Selenium 最初の一歩」の内容を紹介します（追記：本記事のタイトルは「JenkinsとSeleniumでJavaScriptのテスト自動化」とありますが、実際の内容は「Selenium RCがJavaScriptの技術を用いて自動テストを行っている」という点がポイントという指摘がありましたので、ここに追記します）。 Jenkins x Selenium 最初の一

先日、日本Javaユーザグループ（JJUG）主催のJJUG CCC 2013 Fallで、「ユニットテスト改善ガイド」というタイトルで登壇してきました。自分の経験を元に、ユニットテストをチームや組織へ導入する時に起こりえる問題とその解決のヒントに関するセッションです。本エントリーではそのセッションの内容を再構成して公開します。 はじめに 近年のシステム開発では、ユニットテストや継続的インテグレーション（以下、CI）の導入は必要不可欠と考えられています。とはいえ、どんな組織（チーム）でも簡単に導入できているわけではありません。特に、大きな組織や古くからの慣習を残している組織では導入したくとも中々進まないと感じているところが多いのではないでしょうか？。 私は、これまでに多くの開発現場でユニットテストやCIの導入について推進してきました。成功したケースもあれば失敗したケースもあります。そして、失

「テストが間違ってたらどうするんだ」 自動テストの話をするとよく言われます。テストが間違ってたらわからないじゃないか。手動テストであれば、注意深く目で確認していれば間違いに気づけると言う主張です。 「目で確認していれば気づける」のは間違いではありません。必ず気付けるわけではありませんが、十分な知識を持った人が、十分な集中力と責任感をもってエビデンスを確認すれば、誤りに気付ける可能性は高いと思います。 品質(主に機能性)を目的とした自動テストでも、それを行う必要があります。それがテストコードのレビューです。 手動テストの場合、テスト実施前に手順や確認項目のレビュー、実施中の確認、実施後のエビデンス確認と、人が確認するタイミング*1が三カ所あります。 これに対し自動テストの場合、テストが書かれた時のみ。実行中は勿論、実行結果の確認に注意はありません。ただ成功か失敗かだけなので。ならば、テストコ

「Software Test & Quality Advent Calendar 2011」の初日エントリーとして、書きます！ テスト／品質系のエンジニアも、今や、テストや品質のことだけを知っているだけでは、幸せにはなれない時代となってきています。 プログラムは書けなくても、身に付けておくと良いと思っている技術をまとめてみました。 ※注 今回記述した内容は、以下のような私のドメインに偏ったモノになっています。 ミッションクリティカル／エンタープライズ系 Java／.NET 他のドメインでは異なる部分や他の標準的なツールがあれば、コメントを頂ければと思います。 バージョン管理／課題管理 今や、必須のスキルと言えるでしょう。 バージョン管理（SCM／VCS／DVCS）としては、 集中型のSubversion（SVN） 分散型のGit／Mercurial などが有名ですね。 分散型の場合は、各エ

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

以前シェルスクリプトのテストについて少し書きました。 シェルスクリプトの開発環境 - wyukawa’s blog 最近実際にテストを始めたのでどうやっているかを書いてみたいと思います。 やりたいことはHiveQLをキックするシェルスクリプトのテストです。 ブラックボックステストでテストの粒度はSIerでいう？単体をイメージしてます。 1ファイルのシェルスクリプトをテストするシェルスクリプトは１ファイルでその中にテストメソッドが観点ごとに複数存在するイメージです。 またブラックボックステストなのでシェルスクリプト内の分岐を網羅するようなテストは想定していません。もっと粒度は大きいです。そうじゃないとメンテナンス大変だし。 テスティングフレームワークはshunit2を使います。 テストコードのディレクトリ構成はこんな感じです。テストケースごとにテストデータ、テスト結果置き場、期待値データがあ

2011年7月15日紙版発売 B5判／80ページ／CD1枚 定価2,717円（本体2,470円＋税10%） ISBN 978-4-7741-4733-8 ただいま弊社在庫はございません。 Amazon 楽天ブックス 丸善ジュンク堂書店 ヨドバシ.com 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 特集1 JSTQB Advanced Level対応！ テストマネジメント実践入門 JSTQB（ソフトウェアテスト技術者資格認定試験）では，2011年の8月に，Advanced Levelの本試験第1回としてテストマネージャの試験が開催されることになりました。本誌Vol.10では，Advanced Levelシラバスの章構成に従って，テストマネージャが学習すべき内容についての解説がありましたが，本稿では視点を変えて，開発の流れに沿った形で，テストマネージャに必要な

この記事は，「日経エレクトロニクス」と「日経バイト」が刊行した別冊『組み込みソフトウエア2006---品質管理と開発技法の実践的改革A to Z』の掲載記事を抜粋したものです。詳細はこちら。 次に，テスト・レビューの基本を解説しよう。実は，テストとレビューで考えるべきことは，かなり共通している。テストでは，テストを実施する前に，テスト項目をきちんと設計しなくてはならない。レビューでも，レビューを実施する前に，指摘項目をきちんと設計すべきである。行き当たりばったりのテストやレビューをしている限り，少ない手間で危険なバグを早くたくさん検出できるようにはならないし，テストやレビューの改善にもつながらない。 テストのやり方にはいくつかの工夫がある（図4）。まず，なるべく網羅性を落とさずに手間を減らし，たくさんバグを検出する方法がある。直交配列表を用いる方法や，All-pair法などが知られている。

WACATE 2011 夏に申し込んだので、おさらいしましょう。第2弾！ (第1弾はこちら→テスト戦略、設計、手法、技法などなどのリンクをまとめてみた - うさぎ組) バグレポートに関するリンクをまとめてみました。なかなか情報がないのですが、バグレポートがもっとHOTな話題になるとソフトウェア開発のバグ学がハッキリしてソフトウェアの品質があがるのではないでしょうか。 他にも参考になるものがあったら、コメントやTwitterで@kyon_mmまで教えてくださるととっても嬉しいです！ 次の形式で書いています。 WEBサイト名、資料名：発表者（敬称略）：URL カテゴリー分けしたんですが、不適切であるかもしれません。間違い等あればご指摘ください。 また、ここでのリンクに問題がある場合は削除致しますので、その場合もご指摘ください。 @kyon_mm mail kyon.mm at gmail.co

WACATE 2011 夏に申し込んだので、おさらいしましょう。ということでテスト手法、テスト技法を中心としたリンクをまとめてみました。 なので今回はTDDとかテストツールとかはあまり含まれていません。 いくつかかぶっているものもありますが、多面的な表現って大切だと思うので、多少のかぶりは気にせずに選択しました。 これを読めば良いソフトウェアエンジニアとして一歩階段を上れる気がしています。 他にも参考になるものがあったら、コメントやTwitterで@kyon_mmまで教えてくださるととっても嬉しいです！ 次の形式で書いています。 WEBサイト名、資料名：発表者（敬称略）：URL カテゴリー分けしたんですが、不適切であるかもしれません。間違い等あればご指摘ください。 また、ここでのリンクに問題がある場合は削除致しますので、その場合もご指摘ください。 TwitterID:kyon_mm mai