Spørsmål? Ring tlf 94 30 21 81
Lag websider med vår publiseringsløsning Autopublish
CMS basert på brukervennlighet, søkemotorvennlighet og tilgjengelighet
Spørsmål? Ring tlf 94 30 21 81
En tekstfil som plasseres i en gitt katalog på en webserver for å gi instruksjoner til søkeroboter om å ignorere bestemte sider eller kataloger. Merk at ikke alle søkeroboter respekterer disse instruksjonene, slik at Robots.txt-filen ikke er ideell for å beskytte konfidensielt materiale.
Når en søkerobot besøker en webside, sjekker den om robots.txt-filen er tilstede. Kun søkeroboter som følger Robots Exclusion Standard vil følge kommandoene i robots.txt.
Det er flere spesifikke felter i en robots.txt-fil, feks "User-agent", som spesifiserer tilgang til bestemte brukeragenter (nettlesere, søkeroboter), og "Allow/Disallow", som spesifiserer hvilke kataloger søkeroboten skal ha tilgang til.
Dette er et utdrag fra Googles robots.txt-fil (http://www.google.com/robots.txt):
robots.txt-filen må plasseres i toppkatalogen på serveren (roten), feks www.minserver.no/robots.txt. Plassering av denne filen andre steder vil ikke ha noen effekt.
