Co to jest Crawler?
Crawler, bot, pająk, czy robot indeksujący to specjalny program fanrzystyczny. Używa się go, aby określić i zindeksować strony internetowe. Googlebot, crawlert Google, analizuje strukturę stron i jeśli spełniają oczekiwania, zostają one umieszczone w indeksie wyszukiwarki, takich jak Google. W ten sposób można je zobaczyć, kiedy wystukiwane słowo kluczowe pojawia się w rezultatach w wyszukiwarce.
