A/Bテストとは、例えば画像や説明文など複数パターンの素材を用意し、それらを入れ変えたWebサイトやバナー広告などを並列で公開・配信することで、利用者の反応を探る方法。実際のクリック数やコンバージョン率などを基に、対象とする素材などの優劣を決定できる。元々は紙のDMの効果測定のために行われてきたが、最近ではインターネット上でも実施されることが多い。スプリット・ラン・テストとも呼ばれる。

　A/Bテストは素材のほか、Webサイトのレイアウトやデザインなどを対象に実施することもできる。効果の高いランディングページを見つけ出すランディングページ最適化（Landing Page Optimization）においてもA/Bテストの活用が進んでいる。実施に当たっては、違いを検証する素材やデザインなどの対象は1つに抑えた上で、異なるパターンに変えた時のコンバージョン数などの違いを調べる。そうすることで、数値の差の原因をその対象にあると見なすことができる。

　なお、多数の素材を検証するときの方法として「多変量テスト（MVT）」がある。多変量テストでは、実験計画法という手法を用いて、すべての組み合わせを変えて試すのではなく、一部の組み合わせから全体を推測することができる。