A/B実験新着
どの件名が、どのケイデンスが、どの営業トークが最も効果的か。多くのチームで議論になり、結局は勘で決まってしまいます。SellioCRMはその議論を2つのレベルの計測に置き換えます。キャンペーンフローの中では、メール、WhatsApp、SMSのいずれのステップにも2から5個のバリエーションを設定でき、CRMがバリエーションごとの開封率と返信率を比較します。実験画面では、1通のメッセージに収まらないものを比較できます。2つのケイデンス、2つの営業トーク、2つのランディングページを対象に、コンバージョンを計測します。どちらの場合も割り当ては安定しており、同じリードは常に同じバリエーションに入ります。勝者が示されるのは、すべてのバリエーションが20件以上の参加数に達してからです。勝者の適用はワンクリックで完了します。
- フローのメッセージステップでのA/Bテスト。件名、本文、行動喚起をそれぞれ持つ2から5個のバリエーション
- バリエーションごとの開封率と返信率の比較、および最低サンプル数を満たしたうえでの勝者の提案
- ケイデンス、営業トーク、汎用の実験に対応し、参加数、コンバージョン数、率、リフトを表示
- 決定的な割り当て。同じリードは常に同じバリエーションに入り、二重に集計されることはありません
- CRMの外にあるランディングページも、公開トラッキングエンドポイント経由で計測
Sellioでは無料。お支払いはインフラ利用分だけ
It is included in the per-user plan; you can try everything free for 14 days.
数値に基づく意思決定
件名、ケイデンス、営業トークは意見ではなく、計測された数値になります。
見せかけの勝者をなくす
バリエーションごとに20件という最低サンプル数により、たまたま成功した2件の送信が社内の標準になることを防ぎます。
公平な検証
再送時に同じリードが別のバージョンを受け取ることはなく、配信量は均等に分配されます。
学びを即座に反映
勝者の適用はワンクリックで、以降のすべての参加者に反映されます。
メールからページまで
同じエンジンが、CRM内のメッセージとCRM外のページの両方を計測します。
勝者が提案されるのは、すべてのバリエーションが20件以上の送信数または参加数に達してからです。それまでは、統計的に裏づけられない数値を示す代わりに、サンプルがまだ不足していると画面に表示されます
割り当ては送信のたびに抽選されるものではありません。登録内容またはレコードから算出されるため、キャンペーンを再処理してもバリエーション間で対象が移動することはありません
勝者を適用すると、以降の宛先にはそのバリエーションだけが送信され、すでに受信した相手には影響しません
実験のコンバージョンは推測されません。担当者が記録するため、数値は常に検証可能なまま保たれます
フロー内のバリエーション
キャンペーンフローのメッセージステップでは、件名、本文、行動喚起をそれぞれ持つ2から5個のバージョンを作成できます。パーソナライズ変数はいずれのバージョンでもそのまま機能します。CRMはリードを均等に振り分け、バリエーションごとの送信数、開封数、返信数を表示します。
改善の提案
ステップの比較結果が次の一手を示します。サンプルが少ないうちは継続し、返信率に明確な差が出たら勝者を適用します。率が拮抗している場合はより思い切った変更を試し、全体的に開封率が低い場合は件名と差出人を見直します。
メッセージ以外の実験
分析、実験で、営業トーク、ケイデンス、汎用のいずれかの種類の実験を作成し、バリエーションAとBのラベルを設定します。参加者は安定した方法でいずれかのバリエーションに振り分けられ、結果テーブルには参加数、コンバージョン数、率、そして対照群となる最初のバリエーションに対するリフトが表示されます。
ランディングページにも対応
CRMの外にある2つのページを検証するには、各ページからワークスペースのリード獲得トークンを使って公開実験トラッキングエンドポイントを呼び出します。読み込み時に閲覧イベント、フォーム送信時にコンバージョンイベントを送信します。結果は同じテーブルに集約されます。
- 1
キャンペーンフローでメッセージステップを開き、2から5個のバリエーションを追加します。
- 2
キャンペーンを実行し、バリエーションごとの送信数、開封数、返信数を確認します。
- 3
ケイデンス、営業トーク、ページを対象とする場合は、分析、実験でAとBのラベルを付けた実験を作成します。
- 4
コンバージョンを記録し、参加数、コンバージョン数、率、リフトを確認します。
- 5
画面にサンプルが十分と表示されたら、勝者を適用をクリックします。
2つのメール件名
バリエーションAは見積もりが今も有効かを尋ね、バリエーションBは7日間の価格保持を提案します。それぞれ20件を超える送信の結果、返信率の高いBが推奨として表示されます。
課題で切り出すか、数字で切り出すか
営業トークの実験で2つの架電スクリプトを3週間比較したところ、後者に61%のリフトが確認されました。
短いケイデンスか、長いケイデンスか
2つの接触ケイデンスをケイデンス実験のバリエーションとして登録し、コンバージョン率がどちらを標準にするかを決めます。
2つのランディングページ
各ページが閲覧イベントとコンバージョンイベントを公開エンドポイントに送信し、結果は同じ結果テーブルに表示されます。
キャンペーンのA/Bテストと実験の違いは何ですか。
キャンペーンのテストは1通のメッセージのバージョンを比較し、開封と返信を自動で計測します。実験はケイデンス、営業トーク、ページなど対象を問わず比較でき、利用者が定義したコンバージョンを計測します。
参加者がバリエーションを移ることはありますか。
いいえ。割り当てはレコードまたは登録内容から算出されて保持され、キャンペーンを再処理しても変わりません。
勝者はいつ表示されますか。
すべてのバリエーションが20件以上の送信数または参加数に達し、最も成績のよいものが他を上回った時点です。それまでは、サンプルがまだ不足していると画面に表示されます。
いくつのバリエーションを検証できますか。
フローのメッセージステップでは2から5個です。実験画面では、実験は2つのバリエーションで作成されます。
実験画面は誰が開けますか。
キャンペーンモジュールにアクセスできるすべてのユーザーです。ユーザー単位のプランでは、契約中のエディションにA/Bテスト機能が含まれている必要があります。