ساخت و سنجش آزمایش نسخههای مختلف
پیشنویس آزمایش را تعریف کنید، نسخه و کنترل بسازید، نتیجه را بسنجید و برنده را با دادهٔ کافی انتخاب کنید.
این صفحه برای آزمایش نسخههای مختلف است
صفحهٔ «آزمایش نسخههای مختلف» برای مقایسهٔ چند حالت از یک جایگاه فروشگاه است؛ مثلاً دو عنوان یا دکمه در صفحهٔ محصول. از این صفحه برای تعریف آزمایش، ساخت نسخهها، تعیین معیار موفقیت و بررسی نتیجه استفاده میکنید. مسیرهای خودکار مثل بازگرداندن مشتری یا پیگیری سبد رهاشده در «مرکز رشد» مدیریت میشوند.
پیش از ساخت آزمایش
پیش از بازکردن فرم، این تصمیمها را بگیرید: کدام جایگاه را میخواهید تغییر دهید، نسخهٔ فعلی کدام است، چه چیزی قرار است عوض شود، موفقیت را با چه رفتاری میسنجید و چه مدت برای مشاهدهٔ نتیجه نیاز دارید. یک آزمایش را روی یک فرضیهٔ روشن بنا کنید؛ اگر همزمان چند چیز مهم را تغییر دهید، فهمیدن علت نتیجه دشوار میشود.
آزمایش ممکن است بخشی از ترافیک فروشگاه را به نسخههای مختلف بفرستد. پیش از شروع، متن و گزینههای هر نسخه را بازبینی کنید و برای تاریخ آغاز و پایان برنامه داشته باشید. تنظیم آستانهٔ نمایش یا اطمینان پایین برای عجله در اعلام برنده میتواند نتیجهٔ گمراهکننده بدهد.
ساخت پیشنویس
۱. بخش «ساخت آزمایش جدید» را باز کنید. یک نام قابل فهم و یک کلید کوتاه یکتا وارد کنید. نام برای خواندن فهرست است؛ کلید کوتاه شناسهٔ آزمایش در سامانه است.
۲. از فهرست «محل نمایش»، جایگاهی را انتخاب کنید که واقعاً میخواهید آزمایش کنید. سطحهای موجود بر اساس تنظیم فروشگاه ارائه میشوند؛ گزینهٔ مناسب را از همان فهرست برگزینید.
۳. در «معیار موفقیت»، رفتار اصلی را انتخاب کنید؛ برای نمونه خرید یا یک رویداد سفارشی. اگر «رویداد سفارشی» انتخاب شده، کلید رویداد را هم وارد کنید. کلید باید با رویدادی که فروشگاه ثبت میکند دقیقاً هماهنگ باشد.
۴. در صورت نیاز، هدف را با کلید یا نامک محدود کنید؛ مثلاً نامک محصول. هدف اختیاری است و اگر خالی بماند، آزمایش روی سطح انتخابشده اعمال میشود طبق قواعد سامانه.
۵. سهم ترافیک را بین ۱ تا ۱۰۰ درصد وارد کنید. این مقدار سهم کل ترافیک واجد شرایط است که وارد آزمایش میشود، نه وزن یک نسخه.
۶. بازهٔ انتساب را بین ۱ تا ۹۰ روز انتخاب کنید. این مدت تعیین میکند رفتار هدف تا چه زمانی پس از نمایش نسخه به آزمایش نسبت داده شود.
۷. حداقل تعداد نمایش برای هر نسخه، حداقل زمان اجرا بین ۱ تا ۷۲۰ ساعت و آستانهٔ اطمینان آماری پایه بین ۰٫۸ تا ۰٫۹۹۹ را تنظیم کنید. برای مقایسهٔ منصفانه، زمان و تعداد کافی در نظر بگیرید.
۸. تاریخ شروع یا پایان را در صورت نیاز انتخاب کنید. اگر «انتخاب خودکار برنده» را روشن کنید، سامانه تنها وقتی داده کافی و توزیع بازدید سالم باشد نسخهٔ برنده را انتخاب میکند.
۹. «ساخت پیشنویس» را بزنید. آزمایش هنوز شروع نشده است؛ تا وقتی نسخهها را نساختهاید و تنظیمات را بررسی نکردهاید، دکمهٔ شروع را نزنید.
افزودن نسخه و کنترل
۱. در بخش «نسخههای آزمایش»، پیشنویس موردنظر را از فهرست انتخاب کنید. فقط آزمایشهای پیشنویس قابل انتخاباند؛ اگر فهرست خالی است، ابتدا پیشنویس بسازید.
۲. نام نمایشی و کلید نسخه را وارد کنید. وزن تخصیص نشان میدهد نسخه در تقسیم ترافیک چه سهم نسبی دارد؛ وزنها را بهگونهای تعیین کنید که مقایسهٔ مدنظرتان را پشتیبانی کنند.
۳. فیلدهای payload مجاز برای سطح انتخابشده را تغییر دهید. سامانه فقط گزینههای پشتیبانیشده را نمایش میدهد؛ ممکن است متن، عنوان، برچسب یا فعال/غیرفعالبودن یک ویژگی قابل تغییر باشد. مقدارها را در همان قالب مورد انتظار وارد کنید.
۴. نسخهٔ فعلی یا مبنا را با گزینهٔ «Control» علامت بزنید. نسخههای دیگر در برابر این مبنا سنجیده میشوند. سپس «افزودن نسخه» را بزنید.
۵. همین کار را برای هر نسخهٔ آزمایشی تکرار کنید. پیش از شروع، نام، کلید، وزن، payload و نشان مبنا را مرور کنید. نسخهٔ اشتباه را میتوان تا وقتی آزمایش پیشنویس است حذف کرد.
شروع، توقف و پایان آزمایش
کارت هر آزمایش وضعیت، سطح نمایش، هدف، سهم ترافیک، پنجرهٔ انتساب، حداقل نمایش و حداقل زمان را نشان میدهد. وضعیتها شامل پیشنویس، در حال اجرا، متوقف موقت، پایانیافته و لغوشدهاند.
- برای پیشنویسِ کامل، «شروع» را بزنید. اگر نسخهای ندارد، اول به بخش نسخهها برگردید.
- برای توقف موقت آزمایش در حال اجرا، «Pause» را بزنید. توقف موقت آزمایش را لغو نمیکند.
- برای ادامه، روی آزمایش متوقف «ادامه» را بزنید.
- اگر آزمایش دیگر نباید ادامه پیدا کند، «لغو» را انتخاب کنید. لغو را با توقف موقت اشتباه نگیرید.
- برای پایاندادن و ثبت برنده، در آزمایش در حال اجرا یا متوقف، کنار نسخهٔ برگزیده «انتخاب برنده» را بزنید.
پس از انتخاب برنده، نتیجه را بررسی کنید و مطمئن شوید همان payload موردنظر در صفحهٔ اصلی به کار میرود. اجرای آزمایش لزوماً به معنی انتشار دائمی تغییر برنده نیست؛ صفحه فقط انتخاب نسخه را ثبت میکند.
خواندن نتایج
برای هر نسخه تعداد نمایش، تبدیل، نرخ تبدیل، درآمد، درآمد بهازای بازدیدکننده، بهبود نسبت به کنترل و اطمینان آماری نمایش داده میشود. نسخهٔ کنترل مبنای مقایسه است و برای آن ستون اطمینان خالی میماند. «بهبود» را کنار اطمینان آماری و تعداد نمایش بخوانید؛ درصد بهتر با دادهٔ کم، بهتنهایی دلیل کافی برای انتخاب نیست.
اگر پیام «توزیع نمونه نامتوازن است» ظاهر شد، بازدید بین نسخهها با انتظار آماری هماهنگ نیست. در این حالت انتخاب خودکار برنده متوقف میشود. تا وقتی علت توزیع روشن نشده، از عدد برتری برای نتیجهگیری قطعی استفاده نکنید و سهمها، وزن نسخهها و ترافیک ورودی را بررسی کنید.
اگر انتخاب خودکار فعال باشد، پیام ارزیابی بعدی حداقل نمایش موردنیاز برای هر نسخه و آستانهٔ اطمینان تعدیلشده را توضیح میدهد. صبر کنید شرط داده و زمان برآورده شود؛ هر بار تازهسازی، دادهٔ بیشتری ایجاد نمیکند.
خطاهای رایج
- نسخه در فهرست نیست: آزمایش باید هنوز پیشنویس باشد. وضعیت آزمایش را در کارت بررسی کنید.
- فیلد تغییر در نسخه نشان داده نمیشود: payload بر اساس سطح نمایش محدود است. فقط گزینههای مجاز همان سطح قابل ویرایشاند.
- آزمایش نتیجه ندارد: معیار، کلید رویداد، سطح و هدف را بررسی کنید و مطمئن شوید ترافیک کافی به آن میرسد.
- توزیع ترافیک نامتوازن است: وزن نسخهها و سهم ترافیک را بازبینی کنید و پیش از اعلام برنده از رفع هشدار مطمئن شوید.
- نتیجه با انتظار فروش فرق دارد: پنجرهٔ انتساب و معیار انتخابشده را بخوانید؛ درآمد کل یا فروش خارج از بازه لزوماً در آزمایش شمرده نمیشود.
برای پیگیری خطا، کلید آزمایش، سطح، معیار، وضعیت، پیام خطا و زمان را برای مسئول تحلیل یا تیم فنی بفرستید. اطلاعات مشتریان را از جدول یا گزارش در فضای عمومی منتشر نکنید.