はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい

前提 この記事は内製開発をしているSaaSの中の人であるエンジニアが、SaaSの内製ソフトウェア開発をする上での話として書いています。 前ふり 「スクラムで生産性は上がらないしリリーススケジュールが狂いまくりなんですよ」 「何が原因なんですか？どうすればいいんですか？」 という相談を受けました。 NDAを書いてから、どれどれとチームの状況を見てみました。 該当チームのスプリントゴール 該当チームのスプリントゴールはこんな感じでした。 QAフェーズのプロジェクトAを、QA作業を完了してリリースできる状態まで進める 実装フェーズのプロジェクトBを、フィーチャーの実装率を50%まで進める 設計フェーズのプロジェクトCを、要確認な点を除いて実装レディーな状態まで進める スプリントゴールが3つありますね。とても面白いですね。 思わずボンドルド卿みたいな反応をしたくなりますがここは先に進みましょう。

こんにちは。QA Engineerの@testtattoです。 今回はE2Eテストの自動化にあたって、どういった考えでツール選定を行ったのかを話したいと思います。 対象読者 以下に興味や関心を持つ方を対象読者として想定しています。 E2Eテスト自動化によって課題を解決したいが、どういった技術があるのか分からなくて困っている人 E2Eテストの自動化は実現できているが、継続に課題を抱えている人 テスト自動化なら何でも興味がある人 まえがき 読んでもらう前にいくつかの前提を共有します。 リリースサイクルについて 当社のwebプラットフォームのリリースサイクルは一部のマイクロサービスを除いて基本的には週次です。 決まった曜日で各プロダクトのプルリクエストを取り込んで、リグレッションテストを実施し、リリースブロッカーがなければリリースしています。 流れとしてはこんな感じです。 月 火 水 木 金 特

アルプのQAエンジニアをしている nametake です。 最近QAチームが発足し、プロダクトチームと協調してテストプロセスを改善しています。 QAチームはまだ発足したばかりで、QA専任は私1人です。それに対しプロダクトチームは3つあり、私自身がアルプ全体のQAプロセス改善や採用にフォーカスしているのもあり、各プロダクトチームに入っての活動は出来ていません。 その代わりQAコーチとして「開発チーム内のQA関係のことは積極的に壁打ち相手になります」という方針を社内に共有し、プロダクトチーム内のQA関係の課題の解決指針を一緒に決める、という活動をしてきました。 来た相談を打ち返し続けていたところ、プロダクトチームからやってくる相談の傾向として「どこまでやれば大丈夫なのかという不安」が根っこにに多くあることに気づきました。 対象機能ごとに、どこまでテストをするべきかというのは異なるため、1つの解

この10年は多くの変化がありました。 ソフトウェア開発プロセスにおいては、アジャイル開発の普及が進み、さまざまな現場でスクラムが活用されるようになりました。 技術面では、コンテナ技術やその管理の自動化が進み、システムはどんどん複雑になりつつあります。 一方で、テストや品質保証はどのよう…

QAチームのテスト設計改善およびテストマネジメント改善の取り組みを、9月16日に主催したD3QAにて発表しました。事前登録者数は500名以上、配信時の同時視聴者数は最大300名以上となりました。 質問も60問ほどいただいたのですが、イベント期間内に全ての質問に答えることができなかったため、3つの記事に分けて質問に回答します。また、当日参加できなかった方にも把握していただけるように、当日の発表内容から抜粋して紹介しつつ、質問に回答していきます。 本記事ではテストマネジメント改善に関する質問に回答します。 発表概要の紹介 改めましてこんにちは！ビズリーチのQA基盤推進室のブロッコリーです。社内でも社外でも「ブロッコリーさん」と呼ばれています。 私は先日「テスト活動の納得感を持ってテストケースを激減させた話」というタイトルで発表を行いました。 発表スライドは下記となります。 また、当日の配信内容

こんにちは。Product Securityチームの@gloriaです。前回、自動化テストエンジニアからセキュリティエンジニアへのキャリアチェンジについて記事を書きました。 今日は、最近OSSとして公開した社内ツールのプロジェクトについてお話をしたいと思います！ 「Testdeck」とは？ TestdeckはGolangで書いたgRPCマイクロサービスのインテグレーションテスト、エンドツーエンドテスト（E2E）とセキュリティテストの自動化ツールです。以下の機能を提供しています： gRPCとHTTPエンドポイントのインテグレーションテスト・E2Eテスト ファズテスト 悪意のあるペイロードの注入（Burp SuiteのIntruderという機能のように） gRPCとHTTPリクエストのユーティリティメソッド CharlesやBurp Suiteなどのデバッギングプロクシーに接続し、リクエストの

エムスリーエンジニアリンググループ　QAチームの城本です。BIRでアンケートシステムのQAを担当しています。最近E2Eの自動テストを導入した際に、フレームワークの選定や作成後の運用で考えたことを紹介します。 E2E自動テスト導入の動機 今回E2Eテストの導入対象としたのは、ここ一年くらいで開発からサービスインに至ったアンケートシステムです。システムの仕組みはこちらの記事でも紹介されてますので、よかったらご覧ください。 www.m3tech.blog 当初このシステムに対しては、UIを変更する可能性も大きかったため修正コストの方がかさむと考えE2Eテストは導入していませんでした。サービスインしてしばらくすると、安定的に稼働し始めたこと、機能追加も回り始めたこともあって、E2E自動化の検討を始めました。 小さく始めることにし、E2E自動化の対象は以下2点をカバーすることとしました。 アンケート

本記事では、1日目におこなわれた『ファイナルファンタジーVII リメイク』（以下、『FFVII リメイク』）のデバッグに関するセッション“"FINAL FANTASY VII REMAKE"における自動QAシステムの構築と運用”をリポート。 本セッションで語られたのは自動QAシステムについて。まずQAとは、Quality Assuranceの略称で、日本語で言えば、品質保証。ゲーム開発においては、ゲームが正しく動作しているか、バグが発生しないか、検証する仕事・部門・チームのことを指す。ゲームファンにとっては、デバッグと言ったほうが伝わりやすいかもしれない。つまり、自動QAシステムとは、自動でデバッグをおこなうシステムということだ。 セッションには、スクウェア・エニックスのAIエンジニアを務める太田健一郎氏が登壇した。 ゲームに最適化した自動QAシステムを目指して ゲームというのは、そもそも

CEDEC2020の講演資料です。 『「龍が如くスタジオ」のQAエンジニアリング技術を結集した全自動バグ取りシステム』 株式会社セガ 第1事業部 阪上直樹 / 株式会社セガ 開発技術部 粉川貴至Read less

リサとジャネットの Agile Testing Condensed という短い書籍があるんですけど、これの翻訳をお手伝いしました。権利周りの調整のお手伝いと、翻訳レビューです。 leanpub.com アジャイルテスティングという、日本ではそんなに盛り上がっていない分野がありまして。アジャイル時代にどのように品質を担保するのか、QAやテスターはどのように関わっていくのか、非常に大事なんですけど、なぜか日本ではTDD(テスト駆動開発)やテスト自動化についての注目に比べても、今ひとつ盛り上がっていない感じがします。惜しいことです。 Agile testing is a software testing practice that follows the principles of agile software development. Agile testing involves all me

この記事を書いている動機 Twitterである方が「ほとんど専門外だけどもっとテストのことを知りたい」みたいなことを書かれているのを見かけて、最初はその人に直接リプライしようかと思ったのですが、もしかしたらガチの初歩からテストの勉強したいって人は他にもいて、意外に需要あるのかも？と思ったのでブログとして書くことにしました。 目次はこちら。ガチの初心者の方でもわかるような資料を選んでいます。 この記事を書いている動機 テスト入門にちょうど良さそうなスライド（手前味噌含む） テストをやることになった新人が読むべき最初の記事 この3冊は必読。しかし最初から全てを読まなくてもいい 何はともあれ「第１章（導入部）」は絶対に読もう 「仕様書通り」だけがテストではない テストプロセスについて テスト観点 is 何 問題 テスターと開発現場 おわりに テスト入門にちょうど良さそうなスライド（手前味噌含む）

1.対象プロダクトの全体品質定義 2.仕様品質の担保 3.テストフローの整備 4.テスト計画・テスト設計作成 5.テスト仕様書作成・実施 6.リリース基準作成・リリース判断 7.プロダクトの不具合分析、仕様改善業務 8.手動テストと自動テストの切り分け 9.QAエンジニア採用活動、テストベンダーやテスターの業務管理、QAイベント登壇 10.他チームとのコミュニケーション（共通認識） 全体のテスト範囲として　「単体テスト」 は基本、開発エンジニアが担保するが　「結合テスト」 以降はどうするのか？ 「単体テスト」 は、関数やメソッドが個々の機能を正しく果たしているかどうかを検証するテストになります。 主に、「JUnit」などのXunit系のテスティングフレームワークを用います。 ※プロダクトや案件によってはQAエンジニアが担当することもあります。 バグ修正コストを下げる目的もありますが しかし

LINE Engineer Insights vol.7「QAエンジニアに聞く、LINEプロダクトの品質管理」 LINEで働くエンジニアに色々と話を聞いていく「LINE Engineer Insights」の第7弾です。当コーナーでは、インタビュアーにLINEで働くエンジニア tokuhiromを迎え、エンジニア同士でざっくばらんに話を聞くという形で進めています。今回も、LINEのエンジニアは一体どんな人達なのか、その内面に迫っていきたいと思います。 第7弾は開発3センターサービスQAチームの鈴木里惇（りじゅん）さんに、LINEプロダクトの品質を支えるQAという仕事について実際の仕事の流れやこだわり、今後の展望などについて聞いてきました。あらかじめ説明しておきますと、QAとはQuality assuranceの略で品質保証のための検証作業などを指します。 ざっくり言うと QAの仕事は企画段

こんにちは。メルカリの自動化エンジニアとして、スマホアプリのテスト自動化をぶりぶりしている@daipresentsです。 今年のはじめに、QAエンジニアとSET（Software Engineer in Test）で構成される「QA-SETチーム」が誕生しました。現在は、そのチームのマネージャも担当しています。今回はQA-SETチームで目指している「メルカリでのQAやテストの未来」をご紹介させていただきます。 メルカリでは、上の図のようにプロジェクトごとに開発チームが分かれています。 それぞれの開発チームには、プロジェクトを実現するために必要な人材が集まっており、アジャイルの文脈だと職能横断型チーム(Cross-FunctionalTeam)になっています。これによって、開発に不要なセクショナリズムがなくなり、自然にプロジェクトに集中できる環境になります。 QAエンジニアもそれぞれのプロジ

私は、サンフランシスコに住んでいたことがあって、インフラの勉強していたのですが、当時勢いで応募したインターンに受かり、その後エンジニアとして働いていました。日本人はもちろん一人で、プリセールスからJava のコーディング、テスト、サポート、ドキュメントまでの一連を日本語にローカライズする仕事をしていたのですが、その時の試行錯誤で（失敗もしくは成功から）学んだことをログしていきたいと思います。 当時はほんといろんな面で初心者・経験なしだったので、当たり前のことを書いていたらすみません、、、 当時のタスクの一つとして、QA がありました。仕様でない動作を見つけたら、バグ管理のシステムに入力し、担当の人に修正してもらい、修正を確認するというものです。 当時英語は問題なくできていたのですが、やはり「説明」となると急にハードルが上がりました。始めは、ほんと何にもQAに関する知識もなかったので、一生懸

最近、ソフトウエア開発にて、テスト技術者が要件定義からレビューに入る件について、いろいろ話を聞いたので、まとめておきます。 これは、ちょっとかっこよく言うと「Wモデル」という、テスト担当者の作業と開発の作業を同時並行で行っていくVモデルの進化した開発モデルが目指すゴールの一つです。ただ、話をしてくれた人は、Wモデルという言葉を知っているわけではありません。 その人の組織では、1980年代後半から、独立したテストを行っているとのことです。開発したものの統合テスト以後のテストだけを請け負うテスト専門部隊です。 Windowsが出る前はCOBOLで作った会計プログラムを対象にしていて、それがWindowsが出たころに全てWindowsアプリになり、それが今では全てWebアプリになり、クラウド上で動くようになっているという感じです。今では、そこの組織では、要件定義の段階からドキュメントをテストチー

#TDC

伝統的な品質保証(QA)からアジャイル品質(AQ)へと変わっていこう 2016/9/30、Hillside Group(後述)の代表Joseph Yoderさんが来日され、鷲崎先生と特別セミナーが開催されたとのこと。 そこで紹介された、「QA to AQ: 品質保証(Quality Assurance)からアジャイル品質(Agile Quality)へ」というパターンが秀逸で、かつ、日本のアジャイルオーディエンスに興味がある方が多いであろう、と思い、紹介します。 アジャイル開発は徐々に日本の開発現場にも浸透しています。特に、Webサービスを事業としている会社、スタートアップ企業、などでは普通になる一方で、ITを利用する側と開発を請け負う会社が分かれている場合、また、組み込みの製品開発などでも、まだまだアジャイルは浸透が足りないようです。開発部隊と別に、品質保証部がある組織も、組み込みでは珍