Googlebot

Googlebot er Googles søkerobot (spider, crawler), og er et program som kobler seg til et nettsted, og henter ned informasjonen på nettstedet ved å følge lenkene der. Denne informasjonen brukes senere når søkeresultatene presenteres for de som søker i Google.

Googlebot identifiserer seg med følgende UA-streng:

Googlebot/2.1 (+http://www.google.com/bot.html)

Denne strengen kan finnes ved å bruke et server-script:

C#:Request.ServerVariables['HTTP_USER_AGENT']

ASP: Request.ServerVariables("HTTP_USER_AGENT")

PHP: $_SERVER['HTTP_USER_AGENT']

PERL: $ENV{'HTTP_USER_AGENT'

ColdFusion: #cgi.HTTP_USER_AGENT#

Dersom Googlebot ikke finner fram, vil ikke siden bli tilgjengelig i søkeresultatene. Det er derfor viktig at det er lenker til alle sider på nettstedet som man ønsker skal være synlig i søkemotoren.

Interne sider kan beskyttes fra å bli indeksert i Google ved hjelp av følgende META-tagg:

Hindre at Googlebot indekserer dine bilder vha robots.txt

Merk at dette også vil fjerne bildene fra Froogle. [kilde]

User-agent: Googlebot-Image
Disallow: /

Hindre at Googlebot indekserer bestemte filtyper vha robots.txt

[kilde]

User-Agent: Googlebot
Disallow: /*.cgi$

Mer informasjon om Googlebot

Relaterte artikler

Trenger du hjelp til webutvikling/webdesign, søkemotoroptimalisering eller annonsering i søkemotorer? Ønsker du websider som du kan oppdatere selv? Autodog Development tilbyr rimelige frilanstjenester og arbeider hurtig og effektivt. Ta kontakt for mer informasjon eller for et tilbud.

Nytt 2010: Encanta leverer programvare og programmeringstjenester til den norske offshore-industrien. Integrerer mot bl.a Microsoft Office, Safran, SAP/SBO og ProArc. Se her for mer informasjon.

Tjenester

Våre webprodukter kjennetegnes av

Googlebot

Hindre at Googlebot indekserer dine bilder vha robots.txt

Hindre at Googlebot indekserer bestemte filtyper vha robots.txt

Mer informasjon om Googlebot

Relaterte artikler

Fordeler med å velge Autopublish