Sadržaj
Internet pretraživači kao što su Google, Yahoo i Bing pronalaze informacije pomoću veza i sitemapova za druge web-lokacije. Ove tražilice mogu pronaći neke od najzanimljivijih informacija i uključiti ih u vaš indeks, a ova vrsta tehnologije pretraživanja ima prednosti i nedostatke za korisnike.
Stranice interne mreže
Stranice interne mreže su stranice na web-lokacijama kojima korisnik treba vidjeti mnogo klikova. Ove stranice mogu biti proizvodi, sadržaji ili baze podataka za pretraživanje koje tražilice ne mogu normalno pratiti. Prednost ove vrste tehnologije koja sprječava indeksiranje tražilice je da vlasnici web-lokacija mogu imati proizvode, kupnje, informacije i druge važne veze uključene u indeks tražilice. To vlasniku web-lokacije daje veću vidljivost na internetu.
Osobni podaci
Jedan nedostatak tražilice koja pretražuje je indeksiranje osobnih podataka bez obzira na privatnost. Informacije kao što su sigurnosni brojevi, financijski podaci ili zemljopisne lokacije mogu se indeksirati, čak i ako su objavljene na osobnoj web-lokaciji. Pretraživači su korisnicima omogućili blokiranje nekih informacija o indeksu pomoću datoteke pod nazivom "robots.txt". Na primjer, tražilice poput Googlea omogućuju korisnicima uklanjanje URL-ova nakon što vlasnik web-lokacije ukloni uvredljive informacije koje se brišu iz indeksa.
automatizacija
Vlasnici web-mjesta mogu indeksirati svoje stranice ostavljajući neke veze na drugoj web-lokaciji ili čak na vlastitoj web-lokaciji. Ova praksa se naziva "backlinking". Web-lokaciju koja koristi ovu značajku automatski pretražuju tražilice, koje zatim mogu mapirati i indeksirati web-lokaciju. To olakšava situaciju vlasnika web-mjesta jer ne moraju podnijeti naziv domene tražilicama. Automatizacija indeksa olakšava internetskim čitateljima pretraživanje.
