Aby strona firmy, bloga, sklepu internetowego została zauważona przez Google, a w efekcie pojawiła się wśród wyników wyszukiwania, musi zadziać się kilka rzeczy. Witryny są skanowane w poszukiwaniu informacji potrzebnych użytkownikom, ale aby było to możliwe, trzeba nieco robotom wyszukiwarki pomóc. Jak? Dzięki plikowi robots.txt. Co to takiego i jaki ma wpływ na pozycjonowanie? Wyjaśniamy!
Czym jest plik robots.txt?
Jak już wspomniano na wstępie, robots.txt to jest plik. Co więcej, to niewielki dokument tekstowy (.txt), a nie .html. Tworzy się go dla robotów wyszukiwarek internetowych, a więc dla Google itd. W jakim celu? To właśnie w nim umieszcza się instrukcje na temat tego, jak się mają poruszać po stronie podczas skanowania. W pliku robtos.txt zawiera się też informacje na temat tego, które strony mogą być w ogóle przeskanowane. Oczywiście to nie jest tak, że można w pełni zablokować dane zasoby. To coś na kształt prośby do robotów Google. A dlaczego plik robots.txt jest w ogóle potrzebny?
Uważa się, że niezbędny jest przede wszystkim na dużych stronach lub na witrynach o dość skomplikowanym drzewie treści. Niekoniecznie tak musi być. Nawet małe strony WWW powinny go mieć. Jednak to przy dużych serwisach przydaje się możliwość zablokowania skanowania wszystkich stron. Zdecydowanie lepiej jest, gdy roboty Google sprawdzają najważniejsze podstrony dla SEO.
Jak utworzyć plik robots.txt?
Warto wiedzieć, że zdarza się, że sam system CMS lub oprogramowanie do tworzenia e-commerce automatycznie tworzy plik robots.txt dla nowo tworzonej witryny. Dobrze więc sprawdzić, czy się go ma. Jak to jest możliwe? Wystarczy dodać „/robots.txt” na końcu adresu swojej domeny w pasku przeglądarki. Dzięki temu można wyświetlić plik.
Jeśli okaże się, że go nie ma, wówczas pozostaje zadanie w formie utworzenia go. Jak tego dokonać? Wystarczy w dowolnym edytorze tekstu, a więc po prostu w notatniku, utworzyć plik zatytułowany „robots.txt”. Następnie trzeba go wgrać po zalogowaniu się do menedżera plików konta hostingowego lub na swoje konto FTP. Tak zamieszczony plik oczywiście można z powodzeniem edytować.
Jakie informacje powinny znaleźć się w pliku robots.txt?
Samo utworzenie pliku robots.txt to połowa sukcesu. Należy go również edytować o niezbędne informacje. To one są niezbędne dla robotów Google. Jakie polecenia należy umieścić w pliku? Najważniejsze to:
- User-Agent – informacje o robotach, których dotyczą wskazania. Może być to „Googlebot”, a można postawić „*”, czyli otworzyć go na wszystkie roboty.
- “Disallow” – blokuje przed dostępem botów wskazane obszary witryny,
- “Allow” – zezwala botom Google na dostęp do wskazanych folderów, nawet tych znajdujących się w folderach zablokowanych przez komendę „disallow”.
Warto umieścić również dyrektywę sitemap. Dzięki temu roboty są w stanie sprawdzić pełną ścieżkę mapy strony. Na bardzo rozbudowanych witrynach może się okazać konieczne umieszczenie kilku sitemap.
Jak robots.txt wpływa na pozycjonowanie?
Na SEO składają się tak małe, jak i duże zmiany na stronie. Plik robots.txt dla wielu jest nieznaczącą kwestią. Sprawa wygląda jednak tak, że wbrew pozorom jego konfiguracja może znacząco wpłynąć na widoczność i pozycję strony w wyszukiwarce internetowej. To dzięki niemu witryna działa płynnie. Możliwe jest to dzięki blokowaniu stron. Ciągłe indeksowanie tych mniej istotnych może przede wszystkim spowolnić serwer, ale i powodować inne problemy, które w efekcie utrudnią inne przedsięwzięte działania SEO.
Robot.txt to zmora laików, którzy nie rozumieją w internety 😀