Поисковой бот

Это программа или алгоритм, который автоматически сканирует веб-страницы, собирает информацию и индексирует её для последующего поиска. Такие боты, также известные как веб-пауки или веб-краулеры, используются поисковыми системами, такими как Google, Яндекс, Bing и другими.