robots.txt fortæller søgemaskiner hvad de må og ikke må indeksere

Filen robots.txt ligger i roden af hjemmesiden og bruges blandt andet til at fortælle søgemaskiner hvilke mapper der skal søges i og ikke søges i

Introduktion

Filen robots.txt ligger typisk i roden af hjemmesiden og bruges blandt andet til at fortælle søgemaskiner hvilke mapper der skal søges i og ikke søges i.

Her er et eksempel på en robots.txt fil.

Her kommer en forklaring.

Man kan have flere Allow: og Disallow: alt efter hvad man ønsker.

Her ses indholdet af min robots.txt.

Lær mere

The Web Robots Pages kan forklare mere om robots.txt filen.
Siden er sidst opdateret mandag 25. juni 2018