Materiał porządkuje temat: googlebot traci czas na niewazne adresy.
Gdy googlebot traci czas na niewazne adresy, problem zwykle nie polega na tym, że Google „nie chce” indeksować ważnych podstron. Częściej robot zużywa zasoby na adresy z filtrami, parametrami, sortowaniem, paginacją, starymi URL-ami, wynikami wyszukiwania wewnętrznego albo ścieżkami technicznymi, które nie powinny konkurować o uwagę z kluczowymi stronami sprzedażowymi. W efekcie nowe treści są odkrywane wolniej, zmiany w serwisie dłużej trafiają do indeksu, a raporty w Google Search Console pokazują coraz więcej adresów wykluczonych, zduplikowanych lub zeskanowanych bez indeksowania.
To typowy problem z obszaru SEO technicznego, który najlepiej diagnozować na podstawie logów serwera, danych z Google Search Console oraz analizy struktury linkowania wewnętrznego. Poniżej znajdziesz konkretną procedurę: co sprawdzić, jak rozpoznać źródło marnowania crawla i jakie działania wdrożyć, aby Googlebot częściej trafiał na adresy istotne biznesowo.
Najważniejsza zasada: nie chodzi o sztuczne „zwiększanie crawl budgetu”, tylko o usunięcie powodów, przez które robot ma łatwy dostęp do tysięcy niskowartościowych URL-i. Jeśli serwis sam generuje nieograniczoną liczbę wariantów adresów, Googlebot będzie je testował, dopóki nie otrzyma jasnych sygnałów, które ścieżki są ważne, a które powinny zostać ograniczone.
Spis treści
Jak wygląda problem, gdy crawl skupia się na nieważnych adresach?
Objaw jest zwykle widoczny dopiero wtedy, gdy porównasz kilka źródeł danych. W Google Search Console możesz widzieć komunikaty typu „Zeskanowano – obecnie niezindeksowana”, „Duplikat, Google wybrał inną stronę kanoniczną niż użytkownik” albo rosnącą liczbę adresów z parametrami. W narzędziu crawlującym zauważysz setki wariantów tych samych podstron. W logach serwera zobaczysz natomiast, że Googlebot regularnie pobiera URL-e, które nie mają wartości SEO ani sprzedażowej.
Filtry i sortowanie w e-commerce
Robot odwiedza kombinacje filtrów, zakresy cen, kolejność sortowania, rozmiary, kolory, parametry dostępności lub adresy generowane przez faceted navigation.
Parametry kampanii i śledzenia
Googlebot skanuje URL-e z UTM, identyfikatorami sesji, parametrami afiliacyjnymi, źródłami ruchu lub wariantami technicznymi linków.
Stare URL-e po migracji
Robot wraca do adresów z poprzedniej wersji serwisu, nieaktualnych kategorii, dawnych wpisów, usuniętych produktów albo błędnych przekierowań.
Wyszukiwarka wewnętrzna
Indeksowane lub crawlowane są adresy wyników wyszukiwania, często z tysiącami kombinacji zapytań, literówek i pustych wyników.
W małych serwisach problem może być prawie niewidoczny. W sklepach internetowych, marketplace’ach, portalach z ofertami, serwisach B2B z katalogami produktów lub stronach po kilku migracjach konsekwencje są znacznie większe. Googlebot może poświęcać dużą część aktywności na URL-e, które nigdy nie powinny być ważniejsze od kategorii, usług, produktów, poradników czy stron generujących leady.
Najczęstsze przyczyny marnowania crawla
Jeśli googlebot traci czas na niewazne adresy, przyczyna rzadko jest pojedyncza. Najczęściej nakładają się błędy w architekturze informacji, parametrach URL, linkowaniu wewnętrznym, konfiguracji CMS-a i obsłudze starych adresów.
Nieograniczone kombinacje parametrów
Filtry, sortowanie, widoki listy, liczba produktów na stronie, waluty, języki lub parametry sesyjne tworzą wiele wariantów tej samej treści. Jeżeli są linkowane wewnętrznie, robot może traktować je jako ścieżki do eksploracji.
Brak konsekwentnej kanonikalizacji
Adresy z podobną treścią wskazują same na siebie, mają błędny canonical albo canonical prowadzi do URL-a, który jest zablokowany, przekierowany lub niezgodny z intencją strony.
Stare adresy po zmianach struktury
Po migracji, zmianie kategorii lub przebudowie sklepu pozostają URL-e 404, łańcuchy przekierowań, adresy bez odpowiedników oraz linki wewnętrzne prowadzące do dawnych lokalizacji.
Linkowanie do stron niskiej wartości
Menu, stopka, moduły filtrów, mapy strony HTML lub komponenty CMS-a mogą masowo linkować do adresów, które nie powinny być priorytetem dla Googlebota.
Nieprawidłowe użycie robots.txt
Blokada w robots.txt może ograniczyć crawl, ale nie zawsze rozwiązuje indeksację. Źle ustawiona może też ukryć przed Google sygnały canonical, noindex lub przekierowania.
Generowanie pustych i cienkich stron
System tworzy podstrony bez produktów, bez treści, z powielonym opisem, z jedną ofertą lub z wynikami zależnymi od parametrów, a robot traktuje je jako kolejne adresy do sprawdzenia.
Uwaga: samo dodanie tagu canonical nie jest lekiem na każdą sytuację. Jeśli serwis generuje miliony kombinacji filtrów i aktywnie linkuje do nich z kluczowych miejsc, Googlebot nadal może je odwiedzać, zanim oceni ich wartość. Canonical pomaga w konsolidacji sygnałów, ale nie zastępuje kontroli nad architekturą URL-i.
Diagnostyka krok po kroku na podstawie logów i danych SEO
Najlepsza diagnoza łączy dane z kilku źródeł. Same raporty w Google Search Console pokazują skutki, ale nie zawsze ujawniają skalę wizyt robota. Narzędzie crawlujące pokaże strukturę wewnętrzną, ale nie powie, co faktycznie pobiera Googlebot. Logi serwera pokazują zachowanie robota w praktyce.
- Zbierz logi serwera z odpowiedniego okresuNajlepiej analizować co najmniej 14-30 dni, a przy dużych serwisach także okresy po wdrożeniach, migracjach, sezonowych zmianach oferty lub kampaniach promocyjnych.
- Odfiltruj prawdziwego GooglebotaNie opieraj analizy wyłącznie na user agencie. Weryfikuj IP zgodnie z dokumentacją Google, ponieważ część botów podszywa się pod Googlebota i zaburza dane.
- Pogrupuj adresy według typów URLOddziel kategorie, produkty, wpisy blogowe, parametry, filtry, wyszukiwarkę, paginację, adresy 404, przekierowania, pliki statyczne oraz stare ścieżki.
- Sprawdź statusy HTTPPolicz udział odpowiedzi 200, 301, 302, 404, 410, 500 i innych. Wysoki udział błędów, przekierowań lub miękkich 404 oznacza, że robot zużywa zasoby na ścieżki niskiej jakości.
- Porównaj crawl z wartością biznesową stronZestaw liczbę wizyt Googlebota z ruchem organicznym, konwersjami, przychodem, liczbą leadów i pozycjami. Ważne strony powinny być odwiedzane częściej niż techniczne warianty URL.
- Połącz dane z crawl narzędziaSprawdź, skąd robot może odkrywać nieważne adresy: menu, linki w filtrach, canonicale, mapy XML, moduły podobnych produktów, paginacja lub linki w treści.
- Zweryfikuj indeksację i wykluczeniaW Google Search Console sprawdź, które wzorce adresów pojawiają się w raportach indeksowania, a następnie zestaw je z tym, co widać w logach.
Jeżeli nie masz jeszcze uporządkowanego procesu pracy z technicznym SEO, warto połączyć analizę logów z audytem architektury serwisu. W praktyce jest to etap, który często poprzedza skuteczne pozycjonowanie, ponieważ poprawia dostępność ważnych zasobów dla robota i porządkuje sygnały indeksacyjne.
Tabela diagnostyczna: co sprawdzić i jak interpretować wynik?
| Obszar | Co sprawdzić? | Co może oznaczać problem? | Priorytet działania |
|---|---|---|---|
| Parametry URL | Udział adresów z ?, &, sort, filter, color, size, page, utm w logach Googlebota. | Robot eksploruje warianty techniczne zamiast stron kanonicznych i sprzedażowych. | Wysoki, szczególnie w e-commerce i katalogach ofert. |
| Statusy 404 i 410 | Liczba odwiedzin starych lub usuniętych adresów. | W serwisie nadal istnieją linki do nieaktualnych URL-i albo Google wraca do adresów po migracji. | Średni do wysokiego, zależnie od skali i źródeł linków. |
| Przekierowania | Udział 301, 302 oraz łańcuchów przekierowań w logach. | Robot zużywa czas na dojście do właściwych adresów lub trafia na nietrwałe przekierowania. | Wysoki przy dużej liczbie żądań i długich łańcuchach. |
| Canonical | Czy adresy parametryczne wskazują na właściwe strony kanoniczne i czy są dostępne z kodem 200. | Sygnały kanoniczne są niespójne, co może prowadzić do duplikacji i błędnej indeksacji. | Wysoki, jeśli dotyczy ważnych kategorii lub produktów. |
| Linkowanie wewnętrzne | Skąd pochodzą linki do filtrów, wyszukiwarki, paginacji, starych URL-i i parametrów. | Serwis sam nadaje znaczenie adresom, które powinny być ograniczone. | Wysoki, bo to jedno z głównych źródeł odkrywania URL-i. |
| Mapa XML | Czy sitemap zawiera tylko kanoniczne, indeksowalne adresy z kodem 200. | Google otrzymuje sprzeczne sygnały, jeśli mapa zawiera adresy przekierowane, zablokowane lub noindex. | Wysoki, jeśli sitemap ma duży udział błędnych adresów. |
| Robots.txt | Czy blokady są celowe, aktualne i nie utrudniają odczytu sygnałów canonical lub noindex. | Blokada może zatrzymać crawl, ale nie zawsze usunie adres z indeksu ani nie przekaże Google właściwych sygnałów. | Średni, wymaga ostrożności przed wdrożeniem. |
| Wyszukiwarka wewnętrzna | Czy wyniki wyszukiwania są linkowane, indeksowalne lub widoczne w logach. | Serwis generuje praktycznie nieskończoną liczbę URL-i niskiej jakości. | Wysoki przy dużej liczbie zapytań i pustych wyników. |
Rekomendowane działania naprawcze
Naprawa powinna wynikać z danych, a nie z intuicji. Inaczej łatwo zablokować adresy, które jednak mają wartość SEO, albo pozostawić otwarte ścieżki, które nadal będą generowały chaos. Poniżej znajdziesz działania, które najczęściej porządkują crawl w serwisach firmowych, B2B i e-commerce.
1. Ustal, które typy adresów mają wartość SEO
Nie każdy filtr jest problemem. Czasem kombinacja kategorii i cechy produktu odpowiada realnemu popytowi, na przykład „laptopy biznesowe 14 cali” albo „regały magazynowe ocynkowane”. Takie strony mogą być wartościowe, jeśli mają unikalną treść, stabilny adres, sensowną liczbę produktów i potencjał wyszukiwania.
Resztę filtrów należy traktować jako funkcję użytkową, a nie zasób do indeksacji. Warto przygotować mapę typów adresów: indeksować, nie indeksować, blokować przed crawlem, przekierować, usunąć, zostawić tylko dla użytkownika.
2. Ogranicz linkowanie do adresów niskiej wartości
Jeśli filtry, sortowanie i parametry są dostępne przez zwykłe linki HTML z każdej kategorii, Googlebot ma bardzo łatwą drogę do ich eksploracji. W wielu przypadkach największą poprawę daje ograniczenie linków do kombinacji, które nie mają potencjału SEO.
- Usuń linki do sortowania z elementów, które nie muszą być indeksowalne.
- Nie linkuj masowo do kombinacji filtrów bez potencjału wyszukiwania.
- Ogranicz linki do wyników wyszukiwania wewnętrznego.
- Popraw moduły „podobne produkty” i „powiązane kategorie”, jeśli kierują do starych lub parametrycznych adresów.
- Nie umieszczaj adresów parametrycznych w mapach XML ani w ważnych blokach nawigacyjnych.
3. Uporządkuj canonicale
Canonical powinien wskazywać preferowaną wersję adresu, która jest dostępna, indeksowalna i zgodna z treścią strony. Błędem jest wskazywanie strony głównej jako canonical dla dużej liczby różnych adresów, wskazywanie URL-a z przekierowaniem albo ustawianie canonicala na adres, który sam jest noindex.
Rekomendacja: dla adresów z parametrami, które tylko zmieniają sortowanie lub widok, zwykle właściwy jest canonical do bazowej kategorii. Dla filtrów o potencjale SEO warto rozważyć osobne, stabilne landing page’e, a nie przypadkowe kombinacje parametrów.
4. Napraw stare adresy i przekierowania
Po migracjach często zostają setki lub tysiące dawnych URL-i. Jeżeli mają linki zewnętrzne, historię ruchu lub odpowiedniki w nowej strukturze, powinny prowadzić przekierowaniem 301 do najbardziej adekwatnej strony. Jeśli nie mają odpowiednika i są trwale usunięte, można rozważyć status 410 zamiast pozostawiania miękkich 404.
- Usuń łańcuchy przekierowań i kieruj od razu do docelowego URL-a.
- Zmień przekierowania 302 na 301, jeśli zmiana jest trwała.
- Popraw linki wewnętrzne tak, aby prowadziły bezpośrednio do aktualnych adresów.
- Nie przekierowuj masowo wszystkiego na stronę główną, jeśli nie ma dopasowania tematycznego.
5. Wyczyść mapy XML
Mapa XML powinna być listą adresów, które chcesz pokazać Google jako ważne, kanoniczne i gotowe do indeksowania. Jeśli zawiera adresy noindex, przekierowane, z błędem 404, zablokowane w robots.txt lub parametryczne, wysyła sprzeczny sygnał.
W dużych serwisach warto dzielić sitemapy według typów podstron: produkty, kategorie, wpisy, usługi, poradniki. Dzięki temu łatwiej monitorować indeksację oraz wykrywać sekcje, w których Googlebot zużywa zasoby nieproporcjonalnie do wartości biznesowej.
6. Ostrożnie stosuj noindex i robots.txt
Noindex i robots.txt rozwiązują różne problemy. Noindex informuje, że strona nie powinna być indeksowana, ale Google musi ją odwiedzić, aby odczytać dyrektywę. Robots.txt może ograniczyć dostęp robota do określonych ścieżek, ale jeśli URL jest już znany Google, sama blokada nie zawsze spowoduje szybkie usunięcie z wyników.
Dlatego decyzja powinna zależeć od celu. Jeśli chcesz usunąć adres z indeksu, często potrzebujesz najpierw pozwolić Google go odwiedzić i zobaczyć noindex lub odpowiedni status. Jeśli chcesz zatrzymać eksplorację nieskończonych kombinacji, robots.txt może być pomocny, ale tylko po upewnieniu się, że nie blokujesz ważnych zasobów.
7. Stwórz jasną politykę indeksacji
Najlepsze efekty daje dokument, który opisuje zasady dla każdego typu adresu. Powinien być zrozumiały dla SEO, developmentu, e-commerce, contentu i marketingu. Dzięki temu nowe wdrożenia nie będą ponownie otwierały ścieżek, które wcześniej zostały ograniczone.
Adresy indeksowalne
Kategorie, produkty, usługi, artykuły i landing page’e z potencjałem wyszukiwania, unikalną wartością i stabilnym adresem.
Adresy noindex
Strony przydatne użytkownikowi, ale bez wartości w wynikach wyszukiwania, na przykład wybrane widoki techniczne lub pomocnicze.
Adresy blokowane
Ścieżki generujące nieograniczone warianty, które nie powinny być eksplorowane, o ile blokada nie ukrywa ważnych sygnałów SEO.
Adresy do przekierowania lub usunięcia
Stare URL-e, duplikaty, nieaktualne warianty i podstrony bez odpowiednika, które zaburzają crawl oraz raporty indeksowania.
Lista kontrolna: co sprawdzić przed wdrożeniem zmian?
- Czy wiesz, które typy URL-i Googlebot odwiedza najczęściej?
- Czy odfiltrowano prawdziwego Googlebota, a nie tylko user agent z logów?
- Czy adresy parametryczne mają uzasadnienie SEO, czy są wyłącznie funkcją interfejsu?
- Czy sitemap XML zawiera wyłącznie adresy kanoniczne z kodem 200?
- Czy linkowanie wewnętrzne nie promuje filtrów, sortowania i wyników wyszukiwania?
- Czy canonicale wskazują właściwe, dostępne i indeksowalne adresy?
- Czy stare URL-e po migracji mają poprawne przekierowania albo status 410?
- Czy robots.txt nie blokuje zasobów potrzebnych do odczytania strony i sygnałów SEO?
- Czy strony noindex nie są jednocześnie zablokowane przed crawlem w sposób uniemożliwiający odczyt dyrektywy?
- Czy po wdrożeniu zaplanowano monitoring logów, indeksacji i ruchu organicznego?
Jak mierzyć efekt po naprawie?
Po zmianach nie oceniaj skuteczności wyłącznie po liczbie zaindeksowanych stron. Czasem prawidłowy efekt to spadek liczby adresów w raportach indeksowania, bo Google przestaje widzieć tysiące duplikatów. Ważniejsze jest to, czy rośnie udział crawla na stronach kanonicznych, czy spada liczba żądań do parametrów i czy ważne sekcje są szybciej odświeżane.
| Metryka | Pożądany kierunek | Interpretacja |
|---|---|---|
| Udział crawla na stronach kanonicznych | Wzrost | Googlebot częściej odwiedza adresy, które mają znaczenie dla SEO i sprzedaży. |
| Udział adresów parametrycznych w logach | Spadek | Ograniczono eksplorację filtrów, sortowania i wariantów technicznych. |
| Liczba żądań do 404 i przekierowań | Spadek | Robot traci mniej czasu na stare URL-e i błędne ścieżki. |
| Czas od publikacji do pierwszego crawla | Skrócenie | Nowe lub zmienione strony są szybciej odkrywane przez Google. |
| Widoczność ważnych kategorii i usług | Wzrost | Porządek techniczny zaczyna wspierać strategię organiczną. |
Jeśli potrzebujesz uporządkować pojęcia związane z indeksacją, crawlingiem, canonicalami i robots.txt, pomocny może być także słownik pojęć. Przy problemach z logami warto jednak przejść od definicji do danych, bo dopiero analiza rzeczywistych żądań pokazuje skalę problemu.
Kiedy warto skonsultować problem z ekspertem?
Konsultacja ma sens szczególnie wtedy, gdy problem dotyczy dużego serwisu, sklepu internetowego, portalu ofertowego, serwisu po migracji albo strony, w której decyzje SEO wpływają bezpośrednio na sprzedaż i pipeline leadów. Analiza logów wymaga nie tylko odczytania pliku, ale też powiązania danych technicznych z architekturą informacji, indeksacją, intencjami wyszukiwania i priorytetami biznesowymi.
Masz tysiące adresów z parametrami
Nie wiesz, które zostawić, które ograniczyć, a które przekształcić w landing page’e SEO.
Po migracji rośnie liczba błędów
Googlebot nadal odwiedza stare ścieżki, a widoczność lub indeksacja nie wróciły do oczekiwanego poziomu.
GSC pokazuje dużo wykluczeń
Raporty są pełne duplikatów, adresów zeskanowanych bez indeksowania i stron z innym canonicalem niż wskazany.
Development potrzebuje konkretnych wytycznych
Zespół techniczny potrzebuje jasnej specyfikacji: co zmienić w linkowaniu, sitemapach, canonicalach, robots.txt i statusach HTTP.
W RankHero analizujemy takie problemy w ramach konsultacji SEO oraz prac technicznych. Łączymy dane z logów, Google Search Console, crawla serwisu i struktury linkowania, aby wskazać nie tylko objawy, ale konkretne zmiany do wdrożenia.
Chcesz sprawdzić, dlaczego Googlebot omija ważne strony?
Przeanalizujemy logi, parametry URL, indeksację i linkowanie wewnętrzne. Otrzymasz listę priorytetowych działań technicznych, które ograniczą crawl nieważnych adresów i pomogą skierować uwagę Google na strony istotne dla biznesu.
FAQ
Czy crawl budget jest problemem tylko dużych serwisów?
Najczęściej dotyczy dużych serwisów, ale nie wyłącznie. Nawet mniejsza strona może mieć problem, jeśli CMS generuje wiele adresów z parametrami, duplikatami, tagami, wyszukiwarką wewnętrzną lub błędnymi przekierowaniami. Skala jest mniejsza, ale skutki mogą być widoczne w wolniejszej indeksacji ważnych podstron.
Czy zablokowanie parametrów w robots.txt rozwiąże problem?
Nie zawsze. Robots.txt może ograniczyć crawling, ale nie musi usunąć adresów z indeksu i może uniemożliwić Google odczytanie canonicala lub noindex. Przed blokadą trzeba sprawdzić, czy dany typ adresów jest już indeksowany, czy ma linki zewnętrzne, czy występuje w sitemapie i czy nie odpowiada na ważne zapytania.
Czy canonical wystarczy przy filtrach w sklepie?
Canonical jest ważnym sygnałem, ale nie zastąpi kontroli nad linkowaniem i generowaniem URL-i. Jeśli sklep tworzy wiele kombinacji filtrów i każda jest dostępna przez linki wewnętrzne, Googlebot nadal może poświęcać im dużo czasu. Warto oddzielić filtry z potencjałem SEO od filtrów czysto użytkowych.
Jak często analizować logi serwera?
W stabilnym serwisie wystarczy okresowa analiza, na przykład raz na kwartał lub po większych wdrożeniach. W e-commerce, po migracji albo przy problemach z indeksacją warto monitorować logi częściej, szczególnie przez kilka tygodni po zmianach w strukturze URL, filtrach, sitemapach lub przekierowaniach.
Co jest ważniejsze: usunięcie 404 czy ograniczenie parametrów?
To zależy od danych. Jeśli Googlebot spędza większość czasu na starych adresach 404, priorytetem będzie naprawa linków i obsługa usuniętych URL-i. Jeśli głównym źródłem żądań są filtry i parametry, większy efekt przyniesie uporządkowanie zasad indeksacji, canonicali, linkowania i ewentualnych blokad.
Czy problem z crawlem może obniżać sprzedaż z SEO?
Tak, szczególnie pośrednio. Jeżeli Google wolniej odkrywa nowe produkty, rzadziej odświeża ważne kategorie lub otrzymuje sprzeczne sygnały o wersjach kanonicznych, może to ograniczać widoczność stron, które mają generować ruch i konwersje. Właśnie dlatego techniczna kontrola crawla jest istotna dla skutecznego SEO biznesowego.