Ilustracja została wygenerowana przez AI.

Protokół stałych pytań służy do tego, żeby pomiar widoczności marki w odpowiedziach AI był powtarzalny, porównywalny i możliwy do audytu. Nie zastępuje interpretacji eksperckiej, ale ogranicza najczęstszy błąd: wyciąganie wniosków z pojedynczego zrzutu ekranu, jednego promptu albo jednej sesji w wybranym narzędziu.

W praktyce taki protokół warto stosować zawsze wtedy, gdy analizujesz, czy marka pojawia się w odpowiedziach narzędzi AI, czy jest cytowana jako źródło oraz czy widoczność w AI przekłada się na realne wizyty. To trzy różne zjawiska i nie powinny być raportowane jako jeden wskaźnik. Jeśli chcesz przejść od pojedynczych obserwacji do uporządkowanego pomiaru, punktem wyjścia może być analiza widoczności w AI, ale sam protokół musi być stały i opisany przed rozpoczęciem zbierania wyników.

Co musi zawierać protokół stałych pytań

Minimalny protokół powinien opisywać sześć elementów: język, datę, narzędzie, warunki wykonania testu, liczbę powtórzeń oraz sposób kodowania odpowiedzi. Dopiero zestaw tych informacji pozwala odróżnić zmianę widoczności marki od zmiany warunków pomiaru.

Stała lista pytań zamiast spontanicznych promptów

Lista pytań powinna być przygotowana przed pomiarem i niezmieniana w trakcie danej fali badania. Jeżeli w połowie testu dodasz nowe pytania, zmienisz szyk zdania albo dopiszesz kontekst sugerujący markę, otrzymasz nowy wariant badania, a nie kontynuację poprzedniego.

Pytania warto podzielić według intencji, z zachowaniem osobnych wyników dla każdej grupy. Dla pomiaru widoczności najważniejsze są intencje, przy których użytkownik może oczekiwać rekomendacji, porównania, listy dostawców, wyboru narzędzia, wyjaśnienia problemu albo wskazania źródła. Każde pytanie powinno być zapisane dokładnie tak, jak ma być używane w kolejnych falach.

Zasady tworzenia pytań

• Nie używaj pytań sugerujących odpowiedź, na przykład z nazwą badanej marki, jeśli celem jest pomiar spontanicznej obecności.
• Oddziel pytania brandowe od niebrandowych.
• Nie mieszaj języków w jednej serii, chyba że jest to świadoma część protokołu.
• Nie dopisuj po pierwszej odpowiedzi dodatkowych wyjaśnień, jeśli nie są częścią zaplanowanego scenariusza.
• Nie porównuj promptów o różnej intencji jako jednego wyniku zbiorczego.

Język pomiaru

Język jest jedną z najważniejszych zmiennych. To samo pytanie zadane po polsku i po angielsku może uruchamiać inny zestaw źródeł, marek i kontekstów. Dlatego w protokole trzeba zapisać nie tylko język promptu, ale też oczekiwany język odpowiedzi oraz język interfejsu narzędzia, jeśli może mieć znaczenie.

Jeżeli marka działa na kilku rynkach, nie należy łączyć wyników językowych bez oznaczenia. Widoczność w odpowiedziach po polsku, angielsku i niemiecku to osobne serie danych. Można je zestawiać w raporcie, ale nie powinny tworzyć jednego procentu obecności marki bez rozbicia.

Data, godzina i wersja pomiaru

Każda fala pomiaru powinna mieć dokładną datę. Sama informacja o miesiącu nie wystarcza, bo narzędzia AI, indeksy źródeł, tryby wyszukiwania i sposoby prezentowania cytowań mogą zmieniać się częściej niż raz na kwartał. W protokole warto zapisać także numer fali, na przykład pomiar 1, pomiar 2, pomiar 3.

Jeżeli porównujesz wyniki w czasie, porównuj tylko fale wykonane według tej samej procedury. Gdy zmieniasz zestaw pytań, narzędzie albo sposób kodowania, oznacz to jako nową wersję protokołu. Dzięki temu spadek albo wzrost widoczności nie zostanie pomylony ze zmianą metody badania.

Narzędzie i tryb odpowiedzi

W protokole trzeba zapisać nie tylko nazwę narzędzia, ale też tryb jego użycia. Odpowiedź bez aktywnego wyszukiwania, odpowiedź z cytowaniami, odpowiedź w trybie research, odpowiedź z poziomu API i odpowiedź w aplikacji webowej mogą być różnymi warunkami pomiaru.

Jeżeli narzędzie pokazuje źródła, zapisz, czy cytowanie jest linkiem do domeny, linkiem do konkretnego adresu URL, nazwą publikacji, przypisem, kartą źródła czy tylko wzmianką tekstową. To ważne, bo cytowanie źródła nie jest tym samym co obecność marki w treści odpowiedzi.

Warunki wykonania testu

Warunki pomiaru powinny być możliwie stałe. Jeżeli w jednej fali testujesz z konta zalogowanego, a w kolejnej w trybie bez historii, nie masz pewności, czy różnica wynika ze zmiany widoczności, czy z personalizacji. Podobnie jest z lokalizacją, językiem interfejsu, historią czatu i wcześniejszymi pytaniami w tej samej rozmowie.

Warunki, które warto zapisać

• czy użytkownik był zalogowany,
• czy historia rozmowy była pusta,
• czy wykorzystano nowy czat dla każdego pytania,
• czy narzędzie miało dostęp do bieżącego wyszukiwania,
• jaki był kraj lub region użytkownika, jeśli da się to ustalić,
• jaki był język interfejsu,
• czy użyto przeglądarki, aplikacji, API albo innego interfejsu,
• czy zapisano pełną treść odpowiedzi, a nie tylko zrzut ekranu.

Zrzut ekranu może być dowodem pomocniczym, ale nie powinien być jedynym materiałem. Do porównywania wyników lepszy jest zapis pełnej treści promptu, odpowiedzi, daty, narzędzia i warunków testu.

Powtórzenia i stabilność odpowiedzi

Odpowiedzi AI mogą się różnić przy tym samym pytaniu. Dlatego pojedynczy wynik nie powinien być opisywany jako trend, wzrost, spadek ani trwała utrata widoczności. Jeden zrzut pokazuje tylko jedną odpowiedź w konkretnych warunkach.

W protokole trzeba z góry ustalić liczbę powtórzeń. Nie ma jednej uniwersalnej liczby dla wszystkich badań, ale kluczowe jest to, aby była stała w ramach porównywanych fal. Jeśli w pierwszym pomiarze wykonano pięć powtórzeń na pytanie, a w drugim tylko jedno, porównanie stabilności będzie obciążone błędem.

Jak raportować powtórzenia

• Podawaj licznik i mianownik, na przykład marka pojawiła się w 7 z 10 odpowiedzi.
• Nie zamieniaj pojedynczej obecności na deklarację, że marka jest stale rekomendowana.
• Oddziel stabilną obecność od incydentalnej wzmianki.
• Pokazuj rozkład wyników według pytania, narzędzia i fali pomiaru.
• Nie łącz odpowiedzi z różnych narzędzi bez oznaczenia, z którego narzędzia pochodzą.

Kodowanie odpowiedzi

Kodowanie to sposób zamiany odpowiedzi tekstowej na dane, które można porównać. Najprostszy błąd polega na tym, że osoba analizująca raz uznaje wzmiankę za obecność marki, innym razem tylko za kontekst, a kolejnym razem pomija ją, bo nie była linkowana. Dlatego zasady kodowania trzeba spisać przed analizą.

Oddziel trzy wyniki: marka, źródło i wizyta

W raportach dotyczących widoczności w AI szczególnie ważne jest oddzielenie trzech warstw. Każda mówi o czymś innym i wymaga innego sposobu potwierdzenia.

1. Obecność marki

Obecność marki oznacza, że nazwa marki, produktu, usługi albo jednoznacznie identyfikowalny podmiot pojawił się w odpowiedzi. Może to być rekomendacja, wzmianka w porównaniu, przykład, ostrzeżenie albo opis. Obecność marki nie oznacza jeszcze, że użytkownik kliknął link, odwiedził stronę albo że narzędzie uznało domenę marki za źródło informacji.

2. Cytowanie źródła

Cytowanie źródła oznacza, że narzędzie wskazało domenę, konkretny adres URL, publikację albo inny możliwy do zidentyfikowania materiał jako podstawę odpowiedzi. To osobny wymiar, bo narzędzie może wspomnieć markę, ale cytować inne źródła. Może też cytować domenę marki bez umieszczania marki wśród rekomendowanych dostawców.

3. Wizyta

Wizyta to zachowanie użytkownika widoczne w danych analitycznych, logach serwera albo innym systemie pomiarowym. Nie wynika automatycznie z odpowiedzi AI. Jeśli narzędzie pokazuje markę, ale użytkownik nie kliknął linku, nie ma wizyty. Jeśli ruch pojawia się bez rozpoznawalnego referrera, trzeba oznaczyć go ostrożnie, a nie przypisywać całego wzrostu widoczności AI.

Jak nie mylić zrzutu ekranu z trendem

Pojedynczy zrzut ekranu może być przykładem odpowiedzi, ale nie jest trendem. Trend wymaga porównywalnych pomiarów wykonanych w czasie według tej samej procedury. Jeżeli marka pojawiła się raz w jednym narzędziu, można powiedzieć, że została zaobserwowana w danej odpowiedzi. Nie można na tej podstawie stwierdzić, że narzędzie regularnie ją rekomenduje.

Analogicznie pojedynczy brak marki nie oznacza utraty widoczności. Może wynikać z losowości odpowiedzi, innej kompozycji listy, zmiany źródeł, trybu narzędzia albo sformułowania pytania. Dlatego wnioski powinny być oparte na serii powtórzeń i jasno opisanym mianowniku.

Format arkusza do kodowania

Do praktycznej pracy wystarczy arkusz, w którym każdy wiersz oznacza jedną odpowiedź na jedno pytanie w jednej próbie. Nie należy wpisywać kilku odpowiedzi do jednej komórki zbiorczej, bo później utrudnia to filtrowanie i audyt.

Kiedy aktualizować protokół

Protokół nie musi być wieczny, ale zmiany powinny być kontrolowane. Jeżeli pojawia się nowe narzędzie, nowy tryb cytowań albo nowa grupa pytań, warto utworzyć kolejną wersję protokołu. Stare wyniki zostają wtedy porównywalne wewnątrz swojej wersji, a nowe można analizować od osobnej daty początkowej.

Zmian nie należy wprowadzać po obejrzeniu wyników tylko po to, żeby poprawić rezultat. Jeżeli pytanie okazało się niejednoznaczne, oznacz je jako problematyczne, opisz powód i zdecyduj, czy od następnej fali zostanie poprawione. Nie poprawiaj historycznych danych tak, jakby od początku były zebrane inną metodą.

Jak formułować wnioski z pomiaru

Wnioski powinny być precyzyjne. Zamiast pisać, że marka jest widoczna w AI, lepiej wskazać, w ilu odpowiedziach, w jakich narzędziach, dla jakich pytań i w jakich warunkach została zaobserwowana. Zamiast pisać, że AI generuje ruch, należy oddzielić wzmianki, cytowania i potwierdzone wizyty.

Najbezpieczniejszy format wniosku to opis zakresu danych: marka pojawiła się w określonej liczbie odpowiedzi, w określonej fali badania, dla określonego zestawu pytań i narzędzi. Jeżeli nie masz danych o kliknięciach albo wizytach, nie przypisuj ich na podstawie samej obecności w odpowiedzi.

Najważniejsze zasady kontroli jakości

• Nie traktuj pojedynczej odpowiedzi jako trendu.
• Nie mieszaj obecności marki, cytowania źródła i wizyt w jednym wskaźniku.
• Nie zmieniaj promptów w trakcie fali pomiaru.
• Nie porównuj wyników z różnych narzędzi bez rozbicia na narzędzie i tryb.
• Nie przypisuj ruchu do AI bez danych analitycznych lub logów.
• Nie raportuj samych procentów bez mianownika.
• Nie opisuj wyniku jako poprawy albo spadku, jeśli zmienił się protokół.

Dobry protokół nie obiecuje pełnej kontroli nad odpowiedziami AI. Daje jednak coś ważniejszego: możliwość powtarzalnego pomiaru, oddzielenia obserwacji od interpretacji i budowania wniosków na serii danych, a nie na pojedynczym przykładzie.

Chcesz połączyć pomiar z pracą nad treścią i techniczną dostępnością witryny? Poznaj zakres SEO dla wyszukiwania opartego na AI.