Crawler

Crawler je program, ktorý navštevuje webové stránky a načíta informácie o nich, aby ich potom mohol použiť ako vstup pre vyhľadávacie algoritmy. Všetky veľké vyhľadávače disponujú vlastným crawlerom (často veľkým množstvom malých, špecializovaných crawlerov). Crawler má za úlohu nájsť nové stránky, analyzovať ich a označiť príslušnými parametrami pre ďalšie spracovanie. Crawler sa na stránky opakovanie vracia pre prípad, že by sa na nich niečo zmenilo.