Robots.txt to plik, który pozwala nam przekazać robotom wyszukiwarek polecenia dotyczące indeksowania naszej strony. Nie jest obowiązkowe, aby witryna posiadała ten plik, jednak zalecana jest jego obecność. Plik Robots.txt powinien składać się z instrukcji zgodnych ze standardem Robots Exclusion Protocol. To dzięki niemu możemy wskazać robotom, co powinny, a czego nie powinny indeksować w naszej witrynie. Możemy np. zablokować określone foldery, strony, pliki itp.
Robots.txt to niezwykle przydatny plik, który pozwala nam w łatwy sposób kontrolować indeksowanie naszej strony przez roboty wyszukiwarek. Korzystanie z niego zapewnia wyższe pozycjonowanie strony i może pomóc w uniknięciu wielu problemów związanych z SEO.
