Hvad er robots.txt?
Robots.txt er en lille tekstfil i roden af en hjemmeside, som fortæller søgemaskiner og andre robotter, hvilke dele af siden de må gennemsøge. Filen styrer crawling og ikke indeksering. Den bruges til at styre robotternes adgang, fx til at holde dem væk fra interne søgesider eller AI-crawlere.
Hvor ligger robots.txt?
Filen skal ligge i roden af domænet. For zangenberg-partners.dk er adressen derfor zangenberg-partners.dk/robots.txt.
Den gælder kun for det domæne og den protokol, den ligger på. Et subdomæne som shop.eksempel.dk skal have sin egen fil.
Du kan altid se en hjemmesides robots.txt ved at skrive /robots.txt efter domænet i browseren. Det er en hurtig måde at tjekke, om noget er blokeret ved en fejl.
Hvordan ser en robots.txt ud?
En robots.txt består af grupper med regler. Hver gruppe starter med User-agent, som angiver, hvilken robot reglerne gælder for. Derefter følger Disallow og Allow.
Et simpelt eksempel kunne se sådan ud:
- User-agent: * (gælder alle robotter)
- Disallow: /wp-admin/ (må ikke gennemsøge administrationen)
- Allow: /wp-admin/admin-ajax.php (undtagelse, som må gennemsøges)
- Sitemap: https://www.eksempel.dk/sitemap_index.xml
Linjen med Sitemap fortæller robotterne, hvor de finder jeres XML-sitemap. Det hjælper dem med at finde alle de sider, I gerne vil have med.
Hvad betyder Disallow og Allow?
Disallow angiver en sti, som robotten ikke må gennemsøge. Allow angiver en undtagelse inden for et blokeret område.
Reglerne arbejder med begyndelsen af adressen. "Disallow: /kampagne" blokerer derfor både /kampagne/ og /kampagne-2026/.
Google understøtter to tegn, der gør reglerne mere fleksible. Stjernen (*) betyder "hvad som helst", og dollartegnet ($) betyder "slutningen af adressen". Med "Disallow: /*?sort=" kan man fx blokere alle adresser med en sorteringsparameter.
Når to regler modsiger hinanden, bruger Google den mest specifikke, altså den regel med den længste sti.
Skal alle hjemmesider have en robots.txt?
Nej. Hvis der ikke findes en robots.txt, går søgemaskinerne ud fra, at de må gennemsøge hele siden. For en lille hjemmeside uden særlige behov er det helt i orden.
Filen bliver relevant, når hjemmesiden har områder, robotterne skal holde sig fra, eller når I vil styre AI-crawlerne.
De fleste systemer som WordPress laver automatisk en simpel robots.txt. SEO-plugins gør det ofte muligt at redigere den uden at røre filerne direkte.
Det vigtigste er, at filen ikke blokerer noget ved en fejl. En tom eller manglende fil er bedre end en forkert.
Hvad er forskellen på robots.txt og noindex?
Det er en af de mest almindelige misforståelser i teknisk SEO.
Robots.txt bestemmer, om en robot må gennemsøge en side. Noindex bestemmer, om en side må vises i søgeresultaterne.
Google skriver i sin dokumentation, at robots.txt ikke er en metode til at holde en side ude af Google. En blokeret side kan stadig blive vist i søgeresultaterne, hvis andre sider linker til den. Den vises så uden beskrivelse.
Vil du have en side ud af Google, skal du bruge noindex. Siden må ikke samtidig være blokeret i robots.txt, for så kan Google ikke se noindex-mærket.
Hvad skal man blokere i robots.txt?
For de fleste hjemmesider er robots.txt kort. Typiske ting at blokere er:
- administrationsområder og login-sider
- interne søgeresultater, som kan skabe mange tynde sider
- filtre og sorteringer i webshops, som giver uendelige varianter af den samme side
- testmiljøer, hvis de ligger på samme domæne
Bloker ikke CSS- og JavaScript-filer, som siden har brug for. Google skal kunne se siden, som en besøgende ser den. Læs mere om crawling.
Hvordan styrer man AI-crawlere med robots.txt?
Robots.txt er blevet vigtig igen, fordi AI-virksomheder bruger robotter til at hente indhold.
Hver robot har sit eget navn. OpenAI bruger fx GPTBot til at hente data til træning og OAI-SearchBot til søgning. Google har Google-Extended, som styrer, om indholdet må bruges til at træne Googles AI-modeller.
Det er en strategisk beslutning. Blokerer I AI-crawlerne, kan jeres indhold ikke bruges i træningen, og nogle tjenester kan heller ikke citere jer. Lader I dem gennemsøge, øger I chancen for at blive nævnt i AI-svar.
For de fleste B2B-virksomheder, der gerne vil være synlige, når kunderne spørger AI om råd, giver det mening at tillade de crawlere, der bruges til søgning. Læs mere om GEO.
Hvilke fejl ser man ofte i robots.txt?
- Hele siden er blokeret. Linjen "Disallow: /" under User-agent: * lukker for alt. Den bliver ofte glemt efter en udviklingsfase.
- Vigtige sider er blokeret. En for bred regel kan ramme sider, der skulle have været synlige.
- Robots.txt bruges i stedet for noindex. Siderne forsvinder ikke fra Google, de mister bare deres beskrivelse.
- Filen er for stor. Google læser kun de første 500 KiB af en robots.txt.
- Forældede regler. Regler fra et gammelt system kan blokere noget, der i dag er vigtigt.
Respekterer alle robotter robots.txt?
Nej. Robots.txt er en fælles standard, som de seriøse robotter følger, men den er ikke en sikkerhedsmekanisme. Standarden blev beskrevet formelt i RFC 9309 i 2022.
Robotter med dårlige hensigter kan ignorere filen. Indhold, der skal være privat, skal derfor beskyttes med login eller adgangskontrol.
Nogle regler bliver også fortolket forskelligt. Google understøtter fx ikke direktivet Crawl-delay, som nogle andre søgemaskiner bruger.
Hvordan tester man sin robots.txt?
I Google Search Console kan du se, hvilken version af robots.txt Google har hentet, og om der er fejl. Du kan også teste, om en bestemt adresse er blokeret.
Mange SEO-værktøjer kan også vise, hvilke adresser der er blokeret. Det giver et hurtigt overblik på store hjemmesider.
Tjek altid filen efter en ny hjemmeside, en migrering eller en stor opdatering. Det er der, de fleste fejl opstår. Gem en kopi af den gamle fil, før I ændrer noget, så I kan rulle tilbage.
Hvorfor er robots.txt vigtig for B2B-virksomheder?
For mange B2B-virksomheder er hjemmesiden den vigtigste kilde til nye kunder. En fejl i robots.txt kan i værste fald gøre hele siden usynlig i Google.
Den er også et af de første steder, man tager stilling til AI. Vil I være en del af de svar, kunderne får fra AI-tjenester, skal de rigtige robotter have adgang.
Robots.txt hører derfor med i en årlig gennemgang af den tekniske SEO. Det tager få minutter, og det kan forhindre store tab af synlighed.
Senest opdateret: 29. oktober 2026
