キャンペーンのA/Bテスト: バリエーション、勝ちパターン、比較
キャンペーンフローのメッセージステップ(メール、WhatsApp、SMS)では、それぞれ独自の件名、本文、行動喚起を持つ2から5のバリエーションをテストできます。CRMはリードを安定した方法で振り分け、バリエーションごとに開封率と返信率を比較し、勝ちパターンをワンクリックで適用できるようにします。
どの件名が効くのかという議論はどのチームでも起こり、たいていは勘で決着します。A/Bテストは、その議論を数字に置き換えます。メッセージを1種類だけ送るのではなく、いくつかの版を書くと、CRMがリードを振り分け、どれが多く開封され、多く返信されたかを示します。
A/Bテストは独立した画面でも別のキャンペーンでもありません。キャンペーンフローの中にあるメッセージステップの性質です。メール、WhatsApp、SMSのステップをテストでき、同じフローの中で複数のステップをテストすることもできます。
バリエーションを作る
- キャンペーンを開き、フローのエディターに入ります。
- テストしたいメッセージステップ(メール、WhatsApp、SMS)をクリックして設定を開きます。
- バリエーションをテスト(A/B)にチェックを入れます。CRMは、そのステップにすでにあった内容からバリエーションAとBを作成します。
- 各バリエーションを調整します。ラベル、件名(メールのみ)、本文、そして送信時に本文の末尾へ付加される行動喚起(CTA)です。
- 必要なら合計5つまでバリエーションを追加し、ステップを保存します。
差し込み用の変数とローテーション文言は、各バリエーションの中でもそのまま機能します。メールでは、いずれかの変数がレコードから値を見つけられなかったときに使われる代替本文も設定できます。
リードの振り分け方
振り分けは決定的で、送信のたびに抽選するわけではありません。CRMはキャンペーンへのリードの登録からバリエーションを算出するため、キャンペーンを再処理しても同じリードは常に同じバリエーションに入り、件数は各版へ均等に分かれます。これによりテストが公平に保たれ、再送時に同じ人が異なる版を受け取ることを防げます。
比較して勝ちパターンを適用する
- キャンペーンのページにあるA/Bテストパネルには、テストしたステップごとにカードが表示され、送信数、バリエーションごとの開封率と返信率が並びます。
- CRMは1つのバリエーションを推奨として示します。返信率が最も高いもので、同率の場合は開封率が高いもの、それでも同率なら送信数が多いものです。
- 勝ちパターンとして適用をクリックすると、以降のリードにはそのバリエーションだけが送られるようになります。
- 分割に戻すをクリックすると、テストを再開して、すべてのバリエーションへの振り分けに戻ります。
Example: キャンペーン「見積の掘り起こし」には、2つのバリエーションを持つメールステップがあります。バリエーションA(件名: お見積りは今も有効です)は送信240件、開封率41%、返信率9%でした。バリエーションB(件名: あと7日、この価格をお取り置きしましょうか)は送信236件、開封率44%、返信率15%でした。パネルはBを推奨として示します。勝ちパターンとして適用をクリックすると、以降のリードにはBだけが届くようになります。
💡 推奨は送信が発生した時点から表示され、最低限のサンプル数を待ちません。決める前に送信数を見てください。数十件程度では、2、3ポイントの差はまだ偶然かもしれません。
制限、権限、影響
- 1ステップあたりのバリエーションは2から5です。バリエーションを減らして1つだけになると、そのステップのA/Bテストは無効になります。
- バリエーションのラベルは24文字まで、件名は200文字まで、行動喚起は300文字までです。本文はチャネルの上限に従い、WhatsAppは4096文字、SMSは1600文字です。
- 比較される指標は開封と返信だけです。クリックはこのパネルに含まれません。
- 勝ちパターンの適用と分割への復帰には、ワークスペースを管理する権限が必要です。管理者でない人には比較結果は見えますが、ボタンは表示されません。
よくある質問
- 勝ちパターンを適用すると、すでに受け取った人の版は変わりますか。変わりません。勝ちパターンは以降の送信に適用され、すでに受け取った人の履歴が書き換えられることはありません。
- 元に戻せますか。戻せます。分割に戻すで勝ちパターンが解除され、そのステップはすべてのバリエーションへの振り分けに戻ります。
- 率がすべて0なのはなぜですか。そのステップからまだ何も送信されていないか、送信が新しすぎて開封と返信がまだ記録されていないかのどちらかです。
- 同じキャンペーンで複数のステップをテストできますか。できます。テストした各ステップがA/Bテストパネルに独自のカードを持ち、それぞれの勝ちパターンを持ちます。