A/B実験(シーケンスと訴求)
実験は、単なるメッセージにとどまらない2つの選択肢を比較します。2つのコンタクトのシーケンス、2つの営業トーク、2つのランディングページの版などです。参加者はぶれずに一方のバリアントに割り当てられ、CRMがコンバージョン率を測り、十分なサンプルがそろったときにだけ勝者を示します。
キャンペーン内のA/Bテストはメッセージを比較し、開封と返信を測ります。実験は、そこに収まらないもののためにあります。2つのコンタクトのシーケンス、2つの営業トーク、2つの電話スクリプト、1つのページの2つの版などを比較できます。ここでの指標はコンバージョンで、目的が達成されたときにあなたが記録する、はいかいいえの値です。
実験を作成する
- メニューの分析から実験を開きます。
- 新しい実験のブロックで名称を入力します。
- 種別を選びます。訴求、シーケンス、汎用のいずれかです。種別は整理のためのラベルで、計算には影響しません。
- バリアントAのラベルとバリアントBのラベルを入力します。これらは結果に表示される名前です。
- 作成をクリックします。実験は進行中の状態で作られます。
この画面は2つのバリアントを持つ実験を作ります。参加者は、そのレコードに対する固定的な計算で振り分けられるため、同じリードは常に同じバリアントに入り、二重に数えられることはありません。すでに勝者を決めている場合は、新しい参加者は全員そのバリアントに直接入ります。
結果を読む
左の一覧で実験をクリックすると、右に結果の表が現れ、バリアントごとに1行が表示されます。参加者数、コンバージョン数、率、改善率です。改善率は、対照群として機能する最初のバリアントとの比較なので、対照群そのものはダッシュ表示になります。
- サンプルは十分です。勝者は信頼できます。この文が表示されるのは、すべてのバリアントが少なくとも20人の参加者を持ち、最良のものが対照群を上回っているときだけです。
- 信頼できる勝者を出すにはサンプルがまだ足りません。この文が画面に出ている間は、たとえ一方の率が明らかに高く見えても、CRMは何も断定しません。
- 勝者を適用するのボタンは、勝者が確定していて、かつ実験がまだ決着していないときにだけ表示されます。クリックすると、実験は決着済みになります。
Example: 課題からの入り対数字からの入りという訴求種別の実験を3週間実施します。課題からの入りのバリアントは参加者128人、コンバージョン14件(10.9%)。数字からの入りのバリアントは参加者131人、コンバージョン23件(17.6%)で、改善率は+61%です。どちらも参加者20人を超えているため、画面にサンプルは十分ですと表示され、勝者を適用するをクリックします。
ランディングページをテストする
CRMの外にあるページの2つの版をテストするには、ここで実験を作成し、各ページからCRMに通知させます。ページが読み込まれたときに閲覧のイベントを、フォームが送信されたときにコンバージョンのイベントを送ります。呼び出しには、実験の追跡用の公開アドレスと、ご自身のスペースのリード獲得トークンを使います。結果は同じ表に入り、勝者の判定も同じルールに従います。
POST /api/public/experiment-track
{
"token": "<自分のスペースのリード獲得トークン>",
"experimentId": "<実験のid>",
"variantKey": "a",
"subjectRecordId": "<訪問者の識別子>",
"event": "view"
}制限と権限
- 名称は200文字までです。この画面は2つのバリアントで作成します。
- 最小サンプルはバリアントごとに20人で固定です。変更する項目はありません。
- この画面を開くにはキャンペーンモジュールへのアクセス権が必要です。ユーザー単位のプランでは、A/Bテストの機能が契約したエディションに含まれている必要があります。
- コンバージョンをCRMが推測することはありません。参加者がコンバージョンしたことを誰かが記録する必要があります。これが、数字をでっち上げではなく検証可能なものに保ちます。
よくある疑問
- キャンペーンのA/Bテストとの違いは何ですか。キャンペーンのほうはメッセージの文面を比較し、開封と返信を自動的に測ります。実験は何でも比較でき、あなたが宣言したコンバージョンを測ります。
- 参加者がバリアントを移ることはありますか。ありません。割り当ては保存され維持されます。後で実験の設定が変わっても同じです。
- 勝者を適用した後はどうなりますか。実験は決着済みになり、新しい参加者は全員、勝ったバリアントを受け取るようになります。
- 一覧が空なのはなぜですか。まだ実験が1件も作られていないか、ご自身のロールにキャンペーンモジュールへのアクセス権がありません。