本稿は書籍『Javaエンジニアのための ソフトウェアテスト実践入門』Appendix 2をWeb記事として公開したものです。 2022年後半に登場したChatGPTを皮切りに、生成AIは瞬く間に世の中に浸透しました。現在では世界中の投資がこの分野に向けられており、新しいサービスも続々と登場しています。 生成AIが最もその価値を発揮するシーンの一つが、システム開発における活用です。例えばコーディングのアシストやレビュー、ログの分析、画面モックの作成など、生成AIの活用はすでに実用的な段階にあります。 本稿ではその中でも、「⁠生成AIをいかにしてテストに活用するか」という点にフォーカスを当てます。 1. 本稿で取り上げる生成AI 生成AIと一口に言ってもさまざまな種類がありますが、その代表は何といってもOpen AI社のChatGPTでしょう。 ChatGPTは、大規模言語モデル（LLM）とチ

物流大手の日本通運が「新・国際航空貨物基幹システム」の開発失敗を巡り、ベンダーのアクセンチュアを訴えた裁判。名門企業同士の訴訟、さらには約124億9100万円という賠償請求額の大きさは衝撃的だった。 裁判資料を読んでいると胃がキリキリした。筆者は2年ほど前までシステムエンジニアとして働いていた。その分、記されていた当事者の発言やチャットが、あまりにも生々しく映った。 訴状によると、開発プロジェクトはテスト工程から遅延し始めた。当初2020年12月の予定だった結合テストの後半過程「ITb」の終了は2021年11月にずれ込んだ。アクセンチュアがITbの「成果物」を共有サーバーにアップロードしたのは2021年11月30日。しかし、日本通運は先立って実施していた「打鍵テスト」で大量の指摘事項が挙がっていたことなどから、この品質を問題視した。以降、これら成果物の検収を巡り、両者の主張は至るところで対

はじめに ここ一年でGitHub Copilotはかなり浸透し、Cursorなどの開発者向けのLLM（Large Language Models）ツールの利用も増えてきていることを実感します。 下記の通り、Copilotによって多くのコードが生成される時代となりました。 GitHub Copilotは改善され続けている。2022年6月にこのツールが初めて個人向けに提供されたとき、開発者のコードの27％以上が平均してGitHub Copilotによって生成されたものだった。現在では、この数字はすべてのプログラミング言語で46%に達し、Javaでは61%に跳ね上がっている。 https://github.blog/2023-05-09-how-companies-are-boosting-productivity-with-generative-ai/ CopilotやCursorも便利で愛用

Deep Learning の、特に画像分類系のタスクでよく使用される、 Test Time Augmentation (TTA) という Augmentation の手法を友人 (@hattan0523) に聞いたので、実際変わるものかと思ってカジュアルに試してみました。 なんかコンペとかでは必須らしい。 ※ 間違いなどご指摘歓迎です。 Test Time Augmentation (TTA) とは 機械学習、特に Deep Learning では、大きなモデルを学習させるためにたくさんの訓練データが必要になります。 データが増えるほど精度が上がったり、複雑なモデルも学習できるようになることが知られています。 そこで、訓練用データを少し加工し別のデータとしてデータセットに加えることで、学習に使えるデータの量を増やす試みがよく行われており、 Data Augmentation と呼ばれます

この記事は FastDOCTOR After Advent Calendar 27日の記事です。 はじめに ファストドクター株式会社でテックリードをしている shirauix と申します。 弊社では、ある Next.js アプリケーションを別会社のパートナーさんに外注することによって初期開発を行いました。ある時点からこのシステムを内製化することになったのですが、それにあたって多くの課題を解決する必要がありました。 この記事では、外注と内製のそれぞれのメリット・デメリットや、内製に切り替える際にどんな苦労があったのかについての赤裸々な事例をご紹介します。 対象となる読者 外注で初期開発したシステムを内製に切り替えてメンテナンスしようとしているエンジニアの方 新しくシステムを開発したいが、外注と内製のどちらを選択すべきか悩んでいる方 外注と内製の違い 外注するか内製するかはあくまで手段の話であ

はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 LLMで何かしたい勢のみなさま、検索拡張生成こと RAG (Retrieval Augmented Generation)、やってますか？ 自社で持っているデータを使ってエンタープライズサーチを実現したい、それができればきっと無敵。そう考えて色々やろうとしているんじゃないでしょうか。私です。 RAGを使って意図した出力を得られるようにするには、十分なデータセットを準備したりパラメータを変更しながらチューニングをするなど、地道な作業が必要となります。 開発ライフサイクルにおける評価・テストステップで有効な、評価用フレームワーク RAGAS を使ってみましたので、本記事ではそれについてまとめます。 RAGASとは RAGパイプラインを評価/テストするためのフレームワークです。 パイプラインを構築するためのツールは多く

ウェブブラウザを自動操作する際には、WebDriverやChrome DevTools Protocol (CDP) などのAPIが広く利用されています。 これらのAPIを基盤に構築された様々なブラウザ自動操作フレームワークが、テスト自動化の分野で重要な役割を果たしています。 例えば、SeleniumやPlaywrightといったフレームワークを利用して、テストの自動化に取り組まれている方もいらっしゃると思います。 私もテスト自動化フレームワークの便利さを享受する一方で、フレームワークを介さずにブラウザを自動操作する方法についての興味がわいてきました。 そこで、この記事ではWebDriverやCDPが提供するAPIを直接利用してブラウザを操作する方法を基礎から探求してみることにしました。 これにより、私たちが普段利用しているフレームワークの背後にある原理を理解し、より深い知見を得ることを目

自分の強みを活かして最高の人生を送りましょう クリフトンストレングステストを終了した2500万人以上の人たちの一部と出会い、彼らの結果を活用して職場やその他の場所で潜在能力を最大限に引き出します。

2023-11-02 JaSST'23 Kyushu 招待講演 https://www.jasst.jp/symposium/jasst23kyushu.html 実装完了後の手動テストに依存した開発サイクルに継続的テストのアプローチを適用し、段階的に品質を向上する方法について説明しています。

最近、マイクロサービスアーキテクチャについて耳にすることが増えていますが、サーバレスのコンテンツと共に語られているケースもあり、「そのサービス単位では分割しすぎなのでは？」とたまに思います。 もちろん、何が正しいかはその現場のコンテキストによるとは思いますが、書籍「マイクロサービスアーキテクチャ」の第3章にサービスの分割についての考え方が記載されており、しっくりくるとても良い内容だったので、それをまとめてみました。 サービス単位を適度に適切に分割することでマイクロサービスの利点をより享受できるようになると思います。まずは、サービス分割のために重要になる概念を説明し、その後、サービス単位をどのように定めるのか記載していきます。 マイクロサービスアーキテクチャ 作者:Sam Newman発売日: 2016/02/26メディア: 単行本（ソフトカバー） 2つの重要な概念 マイクロサービスで優れた

最近の開発では、CI/CD、自動テスト、継続的テストが当たり前となっていますが、その影響で、それらのCI/CD方針、テスト方針と、Git等のバージョン管理のブランチ方針をどう連携させるかが、定番の課題になっていると感じています。 今回は、このブランチ方針、CI/CD方針、テスト方針を連携させて、開発の品質とスピードを向上させるアプローチについて解説します。 結論から言うと、要点は以下の二つとなります。 バージョン管理のブランチ方針は、CI/CD方針、テスト・QA方針と不可分であり、連携を考えながら方針立てする必要がある ブランチ方針の工夫で、CI/CD、テスト・QAの開発インフラリソース消費を削減でき、本当に重要なポイントに開発インフラリソースを投入できる。これにより、限られたリソースでの高品質・高スピードの両立を支えられる 背景：開発インフラの進化が全てを解決すると楽観視していた発展期

Image created by the authors.How can we test applications built with LLMs? In this post we look at the concept of testing applications (or prompts) built with language models, in order to better understand their capabilities and limitations. We focus entirely on testing in this article, but if you are interested in tips for writing better prompts, check out our Art of Prompt Design series (ongoing

AWS Elastic Beanstalkについてなるべく難しい言葉を使わずに解説します。 分かりやすくするために一部厳密にいえば違うようなことも書いていますが、 あくまでイメージを捕えるためなので鵜呑みにしないでください。 (一応そういう書き方するところは注釈入れてます。) 1.Elastic Beanstalkとは？ 例えば、「AWS上のサーバ上でWEBアプリケーション動かしたいから環境作ってくれ」 上司からこんな指示が出たとしてやるべきことを全部分かっていて迷わずに準備できるWebアプリケーションエンジニアは全体の何%でしょう。 可用性高めるためにVPCのサブネットに分割して。。。 突然サーバへの負荷が上がった時のためにAutoScallingできるように設定して。。。 エンドユーザが複数あるサーバを認識できるようにElastic Load Balancingの設定をして。。。 物理

AIでユニットテストを自動生成。リファクタリング、ドキュメントの生成、バグの検出なども行う「Refraction」登場 ChatGPTに代表される自然言語やプログラミング言語のコードを理解するAIを用いてコーディングの支援を行うツールがまた新たに登場しました。 Refractionは、示されたコードから自動的にユニットテストを生成するほか、コードのリファクタリング、ドキュメントの生成、バグの検出などを行います。 Updates! https://t.co/9otFTI7nh0 is now https://t.co/MtN5JgnetI. Building out many utilities. You can... Generate unit tests Generate inline documentation Refactor your code Added a $5 / month

こんにちは。CADDiのAI LabでMLOpsエンジニアをやっている中村遵介です。 MLOpsチームは今から3ヶ月前に立ち上がったばかりの新しいチームなのですが、その前身としてAPI基盤を作っていた時期があったので、そこで得られた知見を書いていこうと思います。 背景 CADDiのAI Labは2021年の12月に立ち上がった今月1才になったばかりの組織です。その若さにも関わらず、日々有用なMLモデルが作成されていっています。 そのような中で、「新しく作ったMLモデルを素早くユーザにデリバリーしたい」という話が上がるようになりました。ここでいうユーザとはCADDi社員や社内システム、公開アプリケーションなどを指します。 そのため、AI Lab内で簡単に使用できるAPI基盤を作成することにしました。具体的には以下の体験を作ることを目指しました。 開発者に提供するAPIデプロイ体験 推論コード

元記事の著者より：この記事は主に北米文化で私が見たことを反映しています。 誰かに職業をきかれたら、私は「フロントエンド開発者です」と答えます（答えは相手によって変わることもあります）。10年か20年前は、自分の仕事に必然的に伴うものが何なのかは、かなり明瞭でした。インタラクション用にHTMLやCSSを書き、JavaScriptも多少は書いていました。駆け出しの頃、PHPやMySQLの作業に職務の大半を費やしていたとはいえ、フロントエンド開発者として見られる方が好きです（これに関しては、後に詳しく説明します）。この状況は、2010年の初頭に変わり始めました。JavaScriptが、重要で、非常に大きな存在になってきたのです。昨年の初め頃から、たくさんのフロントエンド開発者に会うようになり、あることに気付きました。フロントエンド開発者は、もはや、私が以前から知っているフロントエンド開発者ではな

Ford Motorは車の設計工程を迅速化するため、世界中でMicrosoftの「HoloLens」のテストを開始する。 Fordは過去1年にわたり、米ミシガン州ディアボーンの本社にあるデザインスタジオでHoloLensのパイロット試験を実施していた。同社はそこで、従来式のクレイモデル（粘土模型）とHoloLensのホログラムを組み合わせて、新しい形状、質感、サイズの未来の車両をテストしている。 Fordによると、HoloLensのおかげで、デザイナーやエンジニアが新設計をテストする時間が数週間～数カ月から数分～数時間に短縮できたという。同社は今後、世界中のFordデザイナーにHoloLensを提供していく計画だ。 Fordで車両部品およびシステムエンジニアリング担当バイスプレジデントを務めるJim Holland氏は、声明で次のように述べている。「クレイモデルとホログラムという、古いもの

2016/09/22 追記 3秒でわかるようになってなかったので追記。 Seleniumとはなにか 自動でブラウザ動かせれるやつ。テストとかにつかえる。 Seleniumのインストール方法 http://www.seleniumhq.org/download/ Chromeでやる場合、chromedriverをダウンロードする https://sites.google.com/a/chromium.org/chromedriver/downloads $ python >>> from selenium import webdriver >>> driver = webdriver.Chrome('chromedriverまでのパスをここに書いてね！') どうやって自動で動かすのか？ 概要 DOMの要素をとって、それを動かす JavaScriptでDOMの要素を取得してうんちゃら〜って書く

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 前編では、機械学習などAIプロジェクトを始めるためにフォーカスする領域や、体制、他部署と連携するべき理由を説明しました。 今回は後編です。 開発フェーズと運用フェーズの両方を視野に入れる 開発フェーズでは「アウトプットの精度が十分か」や「計算速度は十分か」など、実装面での心配事に気を取られます。 しかし、機械学習がビジネスで真に価値を生むためには現場やサービスの中できちんと運用されることが重要です。 機械学習を用いたサービスや機能は、運用や保守が必要になるものもあります。先程の広告収益の例の場合、「性別」と「年齢」を推測するためのモデルを作るためには教師データが必要です。 教師データは、モデルを構築するために必要な正解データであり、ユー