html текст
All interests
  • All interests
  • Design
  • Food
  • Gadgets
  • Humor
  • News
  • Photo
  • Travel
  • Video
Click to see the next recommended page
Like it
Don't like
Add to Favorites

Статистическая значимость и ошибки в A/B тестах

Статистическая значимость и ошибки в A/B тестах

A/B тесты — это популярный способ маркетингового исследования, суть которого заключается в том, что респонденту предлагают оценить несколько немного отличающихся образцов для того, чтобы выявить наиболее удачный вариант продукта.  
Cossa.ru представляет вашему вниманию перевод текста Кинида Боулса (Cennydd Bowles), дизайнера digital продуктов из Лондона, о том, как опасно дизайнеру полагаться на количественные исследования, и, в частности, A/B тесты результатов своей работы.

На прошлой неделе я подбросил монету сто раз подряд. 49 раз выпала решка. Потом я переоделся в красную футболку и подбросил монету ещё сто раз. 51 раз — решка. Из этого я заключаю, что подбрасывание монеты в красной футболке увеличивает шанс выпадения решки на 4,1%.

Примерно так же смешны, как этот вывод, бывают результаты анализа в A/B тестированиях, когда пользователю предлагается выбрать из двух вариантов предпочтительный.

Это логично и похвально, когда дизайнеры в своей работе пытаются думать, помимо прочего, о конверсии и ROI, но главное не переусердствовать.

Рассмотрим пример от ABTests.com:

Эти две версии немного отличаются.

В версии А подписи кнопок Upload и Convert выполнены жирным шрифтом, а также у кнопки Convert есть стрелочка.

В версии B жирный шрифт для подписей не используется, и стрелочки нет.

Несмотря на то, что незначительные изменения подчас могут повлечь за собой серьёзные последствия, я не предполагал, что столь мелкие различия могут сильно влиять на юзабилити. Пожалуй, я мог предположить, что версия А была бы эффективнее версии B, так как жирный шрифт в ней — это призыв к действию.

Дизайнер, однако, опроверг все мои предположения: оказалось, что у версии B при сравнительном тесте конверсия была на 30,4% выше.

Впрочем, на этот счёт у меня есть несколько замечаний.

Любой A/B тест — это эксперимент. Мы никогда не можем знать заранее, какой дизайн повышает конверсию. Мы можем только управлять экспериментом, получать эмпирические данные, на основании которых приходить к заключению: является ли новый дизайн улучшением или нет.

Чтобы быть достоверным, эксперимент должен быть продолжительным. В понедельник конверсия может составлять 27,5%, во вторник — 31,3%, а в среду — 26%, поэтому для того, чтобы делать вывод, необходимо произвести наблюдение объекта во времени.

В статистике часто используется нулевая гипотеза («различия между конверсией А и В вызваны случайным изменением»). Эксперимент в таком случае направлен на то, чтобы опровергнуть это положение. Чтобы определить, можем ли мы отклонить нулевую гипотезу, потребуются математические уравнения для вычисления вероятности того, что наблюдаемое явление случайно. Например, это, это или вот это.

Если арифметика показывает, что вероятность случайности мала (ниже 5%), нулевую гипотезу можно отвергать.

Основной проблемой A/B тестов является, как правило, малый размер выборки. В рассматриваемом нами случае — 128 и 108 пользователей соответственно. Этого недостаточно. С данными образцами желательно провести эксперимент с участием, как минимум, вдвое большего числа пользователей.

Ещё одна проблема тестов в том, что они говорят нам, какова ситуация, но не говорят, почему. Для того, чтобы получить ответ на этот вопрос, нужны либо эксперименты, подразумевающие качественные оценки, либо сравнение множества слегка различающихся вариантов между собой.

Диалог между дизайнером и заказчиком в этом случае происходит примерно следующий:

Дизайнер: Вот новый дизайн продукта — изменилась навигация, выбрана оптимальная цветовая палитра, изменился алгоритм взаимодействия с вкладками.

Заказчик: Это довольно большие изменения, давайте проверим каждое из них по отдельности, чтобы посмотреть, что сработает, а что нет.

Предложенный заказчиком способ — то же самое, что попытка вместо одного большого прыжка через пропасть совершить несколько маленьких. Постепенно внедряя лишь те элементы, которые прошли апробацию в результате A/B теста, вы, возможно, заработаете чуть больше денег, однако дизайн интерфейса вашего продукта станет фрагментированным и непоследовательным. В долгосрочной перспективе от этого больше вреда, чем пользы.

Я обеспокоен той наивностью, с которой некоторые дизайнеры подходят к количественным методам тестирования. Статистика не терпит дилетантизма, поэтому прежде, чем делать уверенные выводы, стоит посерьёзнее изучить научные основы.


Источник: cennydd.co.uk

Читать дальше
Twitter
Одноклассники
Мой Мир

материал с cossa.ru

2

      Add

      You can create thematic collections and keep, for instance, all recipes in one place so you will never lose them.

      No images found
      Previous Next 0 / 0
      500
      • Advertisement
      • Animals
      • Architecture
      • Art
      • Auto
      • Aviation
      • Books
      • Cartoons
      • Celebrities
      • Children
      • Culture
      • Design
      • Economics
      • Education
      • Entertainment
      • Fashion
      • Fitness
      • Food
      • Gadgets
      • Games
      • Health
      • History
      • Hobby
      • Humor
      • Interior
      • Moto
      • Movies
      • Music
      • Nature
      • News
      • Photo
      • Pictures
      • Politics
      • Psychology
      • Science
      • Society
      • Sport
      • Technology
      • Travel
      • Video
      • Weapons
      • Web
      • Work
        Submit
        Valid formats are JPG, PNG, GIF.
        Not more than 5 Мb, please.
        30
        surfingbird.ru/site/
        RSS format guidelines
        500
        • Advertisement
        • Animals
        • Architecture
        • Art
        • Auto
        • Aviation
        • Books
        • Cartoons
        • Celebrities
        • Children
        • Culture
        • Design
        • Economics
        • Education
        • Entertainment
        • Fashion
        • Fitness
        • Food
        • Gadgets
        • Games
        • Health
        • History
        • Hobby
        • Humor
        • Interior
        • Moto
        • Movies
        • Music
        • Nature
        • News
        • Photo
        • Pictures
        • Politics
        • Psychology
        • Science
        • Society
        • Sport
        • Technology
        • Travel
        • Video
        • Weapons
        • Web
        • Work

          Submit

          Thank you! Wait for moderation.

          Тебе это не нравится?

          You can block the domain, tag, user or channel, and we'll stop recommend it to you. You can always unblock them in your settings.

          • cossa.ru
          • домен cossa.ru

          Get a link

          Спасибо, твоя жалоба принята.

          Log on to Surfingbird

          Recover
          Sign up

          or

          Welcome to Surfingbird.com!

          You'll find thousands of interesting pages, photos, and videos inside.
          Join!

          • Personal
            recommendations

          • Stash
            interesting and useful stuff

          • Anywhere,
            anytime

          Do we already know you? Login or restore the password.

          Close

          Add to collection

             

            Facebook

            Ваш профиль на рассмотрении, обновите страницу через несколько секунд

            Facebook

            К сожалению, вы не попадаете под условия акции