Blokada desktopowego Googlebota – czy ma wpływ na indeksację strony?

Z biegiem czasu możliwość dopasowania wyświetleń stron internetowych na urządzeniach przenośnych stała się elementem wpływającym na rankingi. Strony na urządzeniach przenośnych wyświetlają się odpowiednio wtedy, gdy pomyślnie przejdą testy optymalizacji mobilnej. Czy to jedyna zasada przyświecająca procesowi indeksowania strony w Google?

Dlaczego dana domena nie może zostać zaindeksowana?

Każdy informatyk przynajmniej raz w swojej karierze spotkał się z sytuacją, gdy poddana analizie domena nie mogła zostać odpowiednio zaindeksowana przez Google. Ewentualne błędy systemowe w takich sytuacjach wydają się niewidoczne, zwłaszcza jeśli domena wcześniej przeszła test mobilny, posiadała poprawnie wprowadzone tagi kanoniczne i była wolna od blokady robots.txt, a nagłówkom HTTP udawało się oddawać kod 200. Okazuje się jednak, że przy zlikwidowaniu wszelkich powodów braku zaindeksowania, Google Search Console może nadal prezentować hasło:

“Adres URL nie znajduje się w Google: błędy indeksowania”. Co wtedy robić?

Testy mogą wskazać powód braku indeksacji

W analizie przeprowadzonego skanowania pojawić się może komunikat, że indeksowanie nie jest dozwolone, ponieważ w metatagu “robots” został wykryty inny tag – “noindex”. Przed zaindeksowaniem hamuje brak odpowiedniego tagu. Gdy przeprowadzimy kolejny test przy użyciu zewnętrznych narzędzi, należy uwzględnić pracę mobilnego Googlebota. Jeśli przeprowadzimy przy tym zmianę user – agenta na desktopowy Googlebot, to będziemy mogli zauważyć, że jeden z adresów strony cofa kod 403. Na pierwszy rzut oka każdy człowiek średnio związany z informatyką nie łączy tego zdarzenia z brakiem możliwości indeksacji – skoro adres ma się wyświetlać bez WWW, a usterka ma przecież związek z wersją WWW. Jeśli dochodzi do sytuacji, że wersja witryny z WWW pokazuje nagłówek 403, a witryna bez WWW cofa kod 200 przy działaniu desktopowego Googlebota, przekaz zostaje zakłócony.. Googlebot indeksuje stronę raz.

Googlebot – wnioski

Googlebot nie przepada za zbyt zawiłymi działaniami i rozbudowanymi treściami. Wszystkie enigmatyczne i niedoprecyzowane kwestie są głównym powodem nastąpienia blokady indeksacji strony. Zdiagnozować problem można bardzo szybko, więcej czasu zajmuje jego naprawienie. Sprawny informatyk poradzi sobie z tym zagadnieniem w ciągu jednego dnia. Aby strona ponownie zagościła w indeksach Google – musi minąć około dwóch tygodni. Cierpliwość jest więc tutaj jak najbardziej wskazana. Blokada Googlebota jest prawdziwym utrapieniem dla właścicieli sklepów internetowych i witryn trudniących się sprzedażą produktów oraz oferowaniem usług w sieci. Kontakt z potencjalnym klientem w sytuacji blokady zostaje w pewnym stopniu zachwiany, cała sytuacja jest niezwykle stresująca. Dlatego liczy się szybka reakcja i ponadprzeciętne umiejętności oraz wiedza wykwalifikowanego informatyka.

Na ile wierzyć komunikatom Google?

Nie wszystkie komunikaty docierające do nas z Google można uznać za w pełni precyzyjne i profesjonalne. Nawet, jeśli wiadomość systemowa poinformuje nas o tym, że dany tag występuje w metatagu – przed dokonaniem testu nie można wierzyć we wszystko absolutnie na słowo. Nie raz zdarzało się, że tag funkcjonował, ale tylko w teorii, a w praktyce problem okazywał się zgoła inny. Szersze spojrzenie na problem i odpowiednie narzędzia diagnostyczne do rozbudowanej pracy nad wykorzystywanym oficjalnie systemem – tylko to może uratować naszą widoczność w Google. Wskazówki warto zauważać, ale tak naprawdę nie pokazują one jednoznacznego rozwiązania, a stanowią jedynie wstęp do dalszej, nierzadko bardzo wytężonej pracy.