Søkerobot

Et program som sender små 'agenter' ut på nettet for å hente websider som senere kan benyttes i søkemotorenes søkeresultater. Søkeroboten kan sammenlignes med en nettleser som surfer av seg selv, og som først og fremst ser på teksten på siden.

Søkeroboten kan også sammenlignes med en blind og armløs bruker, som ikke kan forholde seg til bilder eller objekter som skal klikkes på. Søkeroboten leverer informasjonen til søkemotoren, som vha en algoritme bruker denne informasjonen i presentasjonen av søkeresultater. Både på norsk og engelsk brukes "robot", "spider" og "crawler" om en søkerobot.

Relaterte artikler (Søkerobot)

• Googlebot
• robots.txt