Dlaczego raporty reklamowe nie muszą pokazywać tego samego?

Google w opisie wrześniowego odcinka Ads Decoded zestawia atrybucję, inkrementalność i marketing mix modeling jako elementy podejścia do pomiaru. To dobry punkt wyjścia do rozmowy o rozbieżnych raportach, ale sama zapowiedź odcinka nie daje podstaw do oceny konkretnego konta. Źródło: opis odcinka Google o pomiarze marketingu.

Na spotkaniu marketingowym często pada pytanie: który panel pokazuje prawdę? Lepiej zacząć od pytania, co każdy panel liczy. Jedno narzędzie może przypisywać konwersję na podstawie kontaktu z reklamą, inne raportować transakcje według momentu zakupu, a model statystyczny analizować tygodniowe zmiany sprzedaży. Bez wspólnej definicji wyniku liczby trudno porównać.

Rozbieżność nie oznacza automatycznie błędu. Błąd pojawia się wtedy, gdy wykorzystujemy miarę do celu, którego nie obsługuje, albo pomijamy różnice w zakresie danych. Dlatego w raporcie powinny znaleźć się definicja konwersji, okres, źródło i najważniejsze ograniczenie interpretacji.

Dla firmy usługowej warto dodatkowo ustalić, czy analizowany wynik oznacza wysłanie formularza, zakwalifikowany kontakt czy podpisaną umowę. To różne etapy. Nawet dobrze policzony koszt formularza może prowadzić do złej decyzji budżetowej, jeżeli część kontaktów nie odpowiada ofercie firmy.

Trzy metody i trzy pytania

Przesuń tabelę w bok, aby zobaczyć wszystkie kolumny.

Atrybucja jest przydatna w bieżącej analizie ścieżek i kampanii. Nie należy jednak utożsamiać przypisanego zakupu z zakupem, który bez reklamy na pewno by nie nastąpił. Osoba widząca reklamę mogła już znać markę albo planować transakcję. Sam kontakt nie rozstrzyga przyczynowości.

W pomiarze inkrementalności próbujemy oszacować różnicę wobec sytuacji bez badanego działania. Dobrze zaprojektowany eksperyment z grupą porównawczą może pomóc odpowiedzieć na to pytanie. Trzeba jednak ocenić dobór grup, skalę próby, czas obserwacji i możliwość przenikania wpływu reklamy między grupami.

MMM analizuje zwykle zagregowane dane w czasie, uwzględniając wydatki i inne czynniki istotne dla wyniku. Przykładem otwartego narzędzia jest Meridian. Dokumentacja opisuje podejście oparte na modelowaniu bayesowskim i wnioskowaniu przyczynowym. Samo uruchomienie narzędzia nie usuwa potrzeby uzasadnienia założeń oraz oceny danych. Źródło: dokumentacja Meridian.

Wybór metody powinien wynikać z decyzji, którą chcesz podjąć. Zmiana komunikatu w jednej kampanii, ocena dodatkowego efektu remarketingu i planowanie rocznego podziału budżetu to zadania o różnej skali. Nie wymagają automatycznie takiego samego modelu.

Przykład: 100 przypisanych sprzedaży nie oznacza 100 dodatkowych

Rozważmy całkowicie hipotetyczną sytuację. Panel przypisuje kampanii 100 zakupów. W osobnej analizie porównawczej oszacowano, że bez badanego działania w tej samej analizowanej populacji i okresie wystąpiłoby 80 zakupów, przy 100 faktycznie zaobserwowanych. Ilustracyjny dodatkowy efekt wynosi więc 20 zakupów.

To proste odejmowanie wyjaśnia różnicę pojęć, ale nie jest instrukcją obliczenia inkrementalności z dowolnego panelu. W rzeczywistej analizie trzeba ustalić wiarygodność scenariusza bez reklamy, porównywalność grup i niepewność oszacowania. Nie wolno po prostu odjąć sprzedaży organicznej od konwersji przypisanych kampanii.

Jeżeli koszt działania wyniósłby w tym przykładzie 2000 zł, koszt przypisanej sprzedaży wyniósłby 20 zł, a koszt oszacowanej dodatkowej sprzedaży 100 zł. Oba ilorazy są matematycznie poprawne dla przyjętych założeń, ale opisują inne wielkości. Porównanie ich bez podpisów wprowadziłoby odbiorcę raportu w błąd.

Nadal nie wiemy, czy kampania była rentowna. Potrzebujemy wartości sprzedaży, marży i kosztów związanych z realizacją. Dodatkowy zakup produktu o niskiej marży może mieć inne znaczenie niż zakup droższego zestawu. W usługach podobną rolę odgrywa wartość i jakość podpisanej umowy.

Dobry raport umieszcza obok liczby definicję i zakres. Zamiast kolumny „sprzedaż z reklam” warto użyć precyzyjniejszego opisu, na przykład „zakupy przypisane w przyjętym modelu”. Jeżeli prezentujesz dodatkowy efekt z eksperymentu, pokaż również niepewność i ograniczenia. Nie zastępuj ich jedną liczbą wyglądającą na bezwarunkowo dokładną.

Co sprawdzić, zanim obwinisz model atrybucji?

Najpierw zweryfikuj pomiar zdarzeń. Czy zakup lub lead nie jest wysyłany wielokrotnie? Czy wartość i waluta są poprawne? Czy ta sama definicja konwersji obowiązuje we wszystkich porównywanych raportach? To podstawowe pytania diagnostyczne. Rozbudowany model nie naprawi niespójnego zdarzenia wejściowego.

Następnie sprawdź zakres czasu i sposób przypisania daty. Raport sporządzony tuż po zakończeniu miesiąca może nie obejmować całego opóźnionego wyniku. W firmie usługowej część kontaktów zamieni się w sprzedaż później. Uzgodnij moment, w którym dane uznajesz za wystarczająco dojrzałe do danej decyzji.

Porównaj również zakres kanałów i populacji. Jeśli jeden raport obejmuje wyłącznie reklamy, a drugi całą sprzedaż firmy, nie powinny mieć identycznych sum. Jeśli analizujesz tylko nowe kontakty, oddziel powracających klientów. Podobnie rozdziel etapy lejka, aby nie zestawiać liczby formularzy z liczbą umów bez wyjaśnienia.

W audycie analityki RankHero warto zacząć od przepływu danych i definicji konwersji. Dopiero na takim fundamencie można oceniać, czy różnica wynika z konfiguracji, z natury metody czy z rzeczywistego zachowania odbiorców.

Kiedy firma jest gotowa na eksperyment lub MMM?

Nie ma jednej uniwersalnej kwoty budżetu, po której każda firma powinna wdrożyć MMM. Znaczenie mają długość i jakość historii, zmienność działań, liczba kanałów oraz dostęp do informacji o innych czynnikach wpływających na wynik. Stałe wydatki i jednoczesne promocje mogą utrudniać rozdzielenie efektów.

Przed eksperymentem określ decyzję, jaką podejmiesz na podstawie wyniku. Jeśli chcesz ocenić dodatkowy efekt konkretnego działania, opisz badany zakres i wariant porównawczy. Ustal także, czy firma może utrzymać warunki testu przez potrzebny czas. Zmiana oferty w połowie badania może utrudnić interpretację.

Przed modelowaniem przygotuj słownik danych. Każda kolumna powinna mieć jednostkę, źródło, właściciela i opis braków. Dodaj kalendarz promocji, zmian cen, dostępności i ważnych zdarzeń biznesowych. Model może wymagać uwzględnienia takich czynników, ale ich dobór powinien wynikać z wiedzy o biznesie.

W ocenie gotowości zapisz też koszt utrzymania. Jednorazowy wykres bez regularnego odświeżania i osoby rozumiejącej założenia szybko straci użyteczność. Jeżeli podstawowe dane sprzedażowe wymagają każdorazowo ręcznego odtwarzania, ich uporządkowanie może być rozsądniejszym pierwszym krokiem niż wdrażanie zaawansowanego narzędzia.

Jak prowadzić spotkanie, gdy raporty się różnią?

Zacznij od wspólnego celu: jaką decyzję budżetową rozważamy? Następnie poproś właściciela każdego raportu o wyjaśnienie definicji wyniku i ograniczenia. Dopiero potem porównuj liczby. Taka kolejność oszczędza rozmowę o tym, dlaczego dwie metody nie dają identycznej odpowiedzi.

Podziel ustalenia na potwierdzone błędy, różnice definicji i pytania wymagające dodatkowej analizy. Pierwsze kieruj do naprawy, drugie do opisu raportu, a trzecie do projektu testu. Nie trzeba od razu przebudowywać całej analityki, aby poprawić jakość jednej decyzji.

Jeśli problem dotyczy jakości leadów, uzupełnij perspektywę o wcześniejszy poradnik ROAS a pozyskiwanie leadów. Niniejszy artykuł porządkuje metody pomiaru; tamten pomaga rozpatrywać wynik w kontekście kontaktów i sprzedaży.

Na koniec zapisz decyzję, poziom pewności i warunek powrotu do tematu. Możesz utrzymać budżet do czasu naprawy pomiaru, przygotować eksperyment albo zlecić ocenę gotowości do modelowania. Każda z tych decyzji jest bardziej użyteczna niż wybór ulubionego panelu bez sprawdzenia, co pokazuje.