A/B تست پاپ‌آپ؛ راهنمای عملی برای سایت‌های کم‌ترافیک و پرترافیک

تقریبا هر جزئی از پاپ‌آپ قابل تست است، اما اثر همه یکسان نیست. تجربه عمومی می‌گوید تغییر پیشنهاد و تریگر بیشترین جابه‌جایی را در نتیجه ایجاد می‌کند و تغییرهای صرفا بصری کمترین را.

جدول زیر متغیرهای رایج را به ترتیب اثر احتمالی مرتب کرده است. از بالای جدول شروع کن؛ تست کردن رنگ دکمه وقتی پیشنهادت جذاب نیست، وقت تلف کردن است.

اگر هم‌زمان تیتر و تریگر و رنگ را عوض کنی و نتیجه بهتر شود، هیچ‌وقت نمی‌فهمی کدام تغییر موثر بود و کدام شاید حتی ضرر زده است. تست معتبر فقط یک تفاوت بین دو نسخه دارد؛ بقیه اجزا باید ثابت بمانند.

این قانون حوصله می‌خواهد، چون یعنی بهبود تدریجی و چند تست پشت سر هم به‌جای یک بازطراحی بزرگ. اما همین مسیر آهسته، تنها مسیری است که در آن یاد می‌گیری مخاطب تو واقعا به چه چیزی واکنش نشان می‌دهد.

فرضیه یک جمله است که می‌گوید چه چیزی را عوض می‌کنی، انتظار چه نتیجه‌ای داری و چرا. نوشتن این جمله تو را مجبور می‌کند قبل از اجرا فکر کنی و بعد از تست، معیار روشنی برای قضاوت داشته باشی.

پاسخ دقیق به ترافیک تو بستگی دارد، اما یک قاعده سرانگشتی امن: هر نسخه حداقل چند صد نمایش و کل تست حداقل دو هفته کامل. تستی که بعد از سه روز و پنجاه نمایش قطع شود، فقط نویز را گزارش می‌کند.

دو هفته از این جهت مهم است که رفتار کاربر در روزهای هفته فرق دارد؛ شنبه شب و جمعه ظهر دو مخاطب متفاوت‌اند. تست باید هر دو نسخه را در همه این موقعیت‌ها دیده باشد تا مقایسه منصفانه شود.

تقسیم هم‌زمان ترافیک بین دو نسخه به ابزار مخصوص نیاز دارد و در ترافیک پایین هفته‌ها طول می‌کشد. جایگزین عمل‌گرایانه، تست ترتیبی است: نسخه فعلی را دو هفته با آمار کامل اجرا کن، بعد فقط یک متغیر را عوض کن و دو هفته بعدی را با نسخه جدید برو.

این روش از نظر آماری سخت‌گیرانه نیست، چون شرایط دو بازه ممکن است فرق کند؛ پس مراقب باش دو دوره از نظر کمپین، تبلیغات و مناسبت قابل مقایسه باشند. با همه محدودیت‌ها، برای بیشتر فروشگاه‌های کوچک همین روش ساده تفاوت‌های بزرگ را به‌خوبی آشکار می‌کند.

قبل از شروع مشخص کن برنده با کدام عدد تعیین می‌شود: تکمیل فرم، کلیک، یا استفاده واقعی از کد تخفیف در خرید. اگر معیار را بعد از دیدن نتیجه انتخاب کنی، ناخودآگاه معیاری را برمی‌داری که نسخه محبوبت را برنده کند.

بهترین معیار، نزدیک‌ترین عدد به پول است. تکمیل فرم از کلیک بهتر است و خرید با کد تخفیف از هر دو بهتر. هرچه معیار به درآمد نزدیک‌تر باشد، تصمیم نهایی قابل دفاع‌تر است.

اگر نسخه الف چهار درصد و نسخه ب چهار و دو دهم درصد گرفته، برنده‌ای وجود ندارد؛ این اختلاف در حد نوسان طبیعی است. به تفاوت‌های کوچک اعتماد نکن، مخصوصا وقتی تعداد نمایش‌ها کم است.

قاعده ساده برای تصمیم بدون نرم‌افزار آماری: تفاوت نسبی کمتر از بیست درصد را با داده کم جدی نگیر. اگر نسخه ب حداقل یک‌پنجم بهتر از الف بود و این برتری در هر دو هفته تست پایدار ماند، می‌توانی با خیال نسبتا راحت مهاجرت کنی.

بیشتر تست‌های شکست‌خورده قربانی یکی از این خطاها هستند. قبل از شروع، این فهرست را مرور کن و در میانه تست هم به آن وفادار بمان.

برای اولین تست، ساده‌ترین مسیر ممکن را انتخاب کن تا هم نتیجه بگیری و هم به فرایند اعتماد پیدا کنی. این چک‌لیست ترتیب کارها را مشخص می‌کند.

تست موفق پایان کار نیست؛ شروع یک عادت است. هر ماه یک متغیر، هر فصل یک بازنگری کلی. فروشگاه‌هایی که این ریتم را نگه می‌دارند، بعد از چند ماه پاپ‌آپی دارند که با هیچ قالب آماده‌ای قابل رقابت نیست، چون روی رفتار واقعی مشتری خودشان تنظیم شده است.

نتیجه هر تست را جایی ثبت کن؛ حتی تست‌های بدون برنده. دانستن اینکه چه چیزهایی روی مخاطب تو اثر ندارد، به همان اندازه ارزشمند است که بدانی چه چیزهایی اثر دارد.