Deși motoarele de căutare sunt, în principiu, doar navigatori ai internetului, ar fi imposibil să ne imaginăm internetul fără ei. Datorită dimensiunii și profunzimii extinse a World Wide Web, această foarte bogată informație devine lipsită de sens sau inutilizabilă fără motoarele de căutare.

Motoarele de căutare, practic, efectuează trei sarcini:

1) Caută în World Wide Web folosind cuvinte sau expresii specifice.

2) Indexează rezultatele pe care le găsesc și locațiile lor.

3) Oferă acces utilizatorilor la acest index și capacitatea de a le căuta folosind combinații de cuvinte sau fraze alese de ele.

Astăzi, motoarele de căutare efectuează până la zece milioane de interogări în fiecare zi și sunt mereu într-un proces de evoluție și reinventare a serviciilor pentru a echilibra nevoile site-urilor web, utilizatorilor și agenților de publicitate.

Totul începe cu ceva numit păianjeni (denumiți și crawlere) și este un nume adecvat, având în vedere că internetul este numit World Wide Web. Spiderii sunt inter-roboți sau roboți compuși din software sau codificare. La fel ca păianjenii adevărați, păianjenii de internet fac ceva numit webcrawling sau doar crawling, pentru a face liste uriașe despre ceea ce se găsește acolo, pe internet.

Crawlingul este actul de navigare, indexare și copiere făcut de păianjeni. Începe cu un server puternic sau un site popular (o parte aglomerată a paginii web) și accesează cu crawlere drumul spre fiecare legătură de pe acel site sau server, care se comportă destul de mult ca niște păianjeni adevărați în felul în care se răspândesc.

Interesant: Google a început cu doar patru păianjeni care citeau 600 kilobytes pe secundă, o cifră ridicolă astăzi. Acest lucru ne arată cât de mult a crescut World Wide Web.

Deși Google a fost primul care a venit cu păianjeni, utilizarea lor s-a răspândit în întreaga comunitate de motoare de căutare și căutarea de a face paianjeni mai noi, mai rapizi și mai creativi este întotdeauna o prioritate.

Păianjenii realizează indexarea a tot ceea ce „citesc”, folosind, printre altele, ceva numit metatags care sunt descrierile cuvintelor cheie sau expresiilor în care proprietarul site-ului ar dori ca site-ul său să fie indexat. Acestea ajută păianjenii să înțeleagă ce este pagina și unde aparțin într-un index.

Webmasterii ar putea să utilizeze cuvinte sau descrieri în metatagani care sunt inexacte sau referindu-se la subiecte și cuvinte cheie populare pe care site-ul lor s-ar putea să nu le trateze. Pentru a proteja împotriva acestui lucru, păianjenii sunt proiectați să coreleze metatagii cu conținutul găsit pe site și să vină cu propria înțelegere a locului în care pagina aparține unui index.