Mnohí ľudia, ktorí si zaplatili za SEO alebo si ho zabezpečujú sami, ešte stále nepochopili, ako presne vyhľadávače vedia, čo na svoju stránku dáte. Je vám asi jasné, že túto činnosť nevykonáva žiaden študent informatiky vo svojej detskej izbe. To by bolo finančne nevýhodné a hlavne nereálne. Na túto prácu je využívaný robot , respektíve viacero robotov. Každý vyhľadávač používa tých svojich a každý z nich pracuje trošku inak. To ale nie je podstatné. Dôležitejšie je to, aby ste pochopili, ako títo roboti fungujú.
Vysvetlime si to tak trošku detinsky. Máte web, príde robot, vy mu nezakážete vstúpiť, on vstúpi a po vašej stránke sa pekne poprechádza. Na jednom mieste nájde jednu zaujímavú informáciu na druhej zas inú. Keďže od svojho zamestnávateľa – vyhľadávača, vedia čo presne je pozitívne, všetko dobré ihneď hodia na oči ostatným.
Môže sa však stať, že nájdu aj veci, ktoré sa mu nebudú páčiť vôbec. V tom prípade sa poradí so zamestnávateľom a prichádza trest. V lepšom prípade si povie, že by ste mali trošku klesnúť v poradí vo vyhľadávači, v horšom prípade, vás už jeho roboti nikdy nenavštívia.
Ešte na chvíľku sa treba pozastaviť pri tom, že robotom musíte na svoje stránky povoliť vstup. Metódou, ako im v tom zabrániť je takzvaný súbor robots.txt. ten sa využíva na to, aby ste niektoré časti webu, pred robotmi ochránili, respektíve, aby ste im zamkli dvere. Tento spôsob sa využíva na častiach webu, ktoré nie sú určené pre verejnosť alebo na takých, ktoré by mohli uškodiť SEO. Ak si necháte web nastavovať niekým iným, dajte s pozor na to, aby omylom tieto súbory nepoužil aj na miestach, na ktorých nemajú byť.
Druhou podstatnou vecou je, aby ste nemali stránky nastavené tak, že roboti nebudú vedieť nájsť kľúče od jednotlivých dverí. To je taktiež neoddeliteľnou súčasťou optimalizácie pre vyhľadávače.