Hvad er crawling?
Crawling er den proces, hvor søgemaskiner som Google sender en robot, kaldet en crawler eller spider, rundt på internettet for at finde og læse sider. Robotten følger links fra side til side og sender indholdet tilbage, så det kan blive indekseret.
Hvad er forskellen på crawling og indeksering?
Crawling er, når Google finder og læser siden. Indeksering er, når Google beslutter at gemme siden, så den kan vises i søgeresultaterne. En side kan godt blive crawlet uden at blive indekseret.
Hvordan gør man det let for Google at crawle siden?
- Brug interne links, så alle vigtige sider kan findes.
- Indsend et sitemap i Google Search Console.
- Ret døde links og redirect-kæder.
- Gør siden hurtig. Langsomme sider bliver crawlet langsommere.
- Blokér unødvendige sider i robots.txt, f.eks. interne søgeresultater.
Hvad er en crawler?
En crawler er et program, der automatisk besøger websider, læser indholdet og følger links videre til nye sider. Googles crawler hedder Googlebot. Andre søgemaskiner og AI-tjenester har deres egne crawlere. De kaldes også spiders eller bots.
Hvordan finder Google nye sider?
- Via links fra andre sider, både interne og eksterne.
- Via sitemaps, som I indsender i Google Search Console.
- Via anmodning om indeksering af en enkelt URL i Search Console.
Hvad er crawl budget?
Crawl budget er det antal sider, Google vil crawle på et website inden for en given periode. For de fleste mindre websites er det ikke et problem. For store websites med mange tusinde sider, f.eks. webshops med filtre, kan det betyde, at vigtige sider ikke bliver crawlet ofte nok.
Hvordan tjekker man, om en side er crawlet?
I Google Search Console kan man bruge URL-inspektion til at se, hvornår siden sidst blev crawlet, og om den er indekseret. Rapporten om crawlstatistik viser, hvor mange anmodninger Googlebot laver, og om der er fejl.
Hvad betyder AI-crawlere for websites?
AI-tjenester crawler også websites for at hente indhold til deres svar. Nogle virksomheder vælger at blokere dem i robots.txt, mens andre gerne vil være synlige i AI-søgninger. Det er en strategisk beslutning, der bør træffes bevidst.
Hvad er robots.txt?
Robots.txt er en lille tekstfil i roden af websitet, der fortæller crawlere, hvilke dele af websitet de må og ikke må besøge. Den bruges f.eks. til at holde crawlere væk fra administrationssider, interne søgeresultater og filtre, der skaber mange unødvendige URL'er. Robots.txt forhindrer ikke, at en side bliver vist i Google, hvis andre linker til den. Skal en side holdes ude af søgeresultaterne, skal man bruge noindex.
Hvor ofte crawler Google et website?
Det afhænger af websitets størrelse, hvor ofte det bliver opdateret, og hvor vigtigt Google vurderer det. Populære nyhedssider bliver crawlet mange gange om dagen, mens små websites måske kun bliver besøgt et par gange om ugen.
Hvad er rendering?
Rendering er det trin, hvor Google kører sidens kode, f.eks. JavaScript, for at se siden, som en bruger ser den. Hvis vigtigt indhold eller links først bliver vist efter rendering, kan det tage længere tid, før Google finder dem. Det kan også betyde, at indholdet slet ikke bliver set, hvis der er fejl i koden. Derfor er det en fordel, at det vigtigste indhold findes direkte i sidens HTML.
Hvad er crawl-fejl?
Crawl-fejl opstår, når Googlebot ikke kan hente en side, f.eks. fordi serveren svarer med en fejl, siden er blokeret, eller en redirect ikke virker. Search Console viser fejlene, så de kan rettes.
Hvordan prioriterer man, hvad Google skal crawle?
På små sites er crawling sjældent et problem. På store sites med mange tusinde sider kan det være afgørende, at Google bruger tiden på de rigtige sider.
- Link internt til de vigtigste sider fra mange steder
- Hold sitemappet opdateret med kun de sider, der skal indekseres
- Begræns crawling af filtre, interne søgninger og dubletter
- Ret fejl og lange kæder af omdirigeringer
Hvordan bruger man logfiler til at forstå crawling?
Serverens logfiler viser præcis, hvilke sider crawlere besøger, og hvor ofte. Det giver et mere detaljeret billede end Google Search Console.
En analyse af logfiler kan afsløre, at Google bruger meget tid på uvigtige sider, mens vigtige sider sjældent bliver besøgt. Det er især nyttigt på store sites og efter migreringer.
Hvordan forholder man sig til AI-crawlere?
Flere AI-virksomheder crawler hjemmesider for at træne modeller eller give svar. Man kan styre deres adgang i robots.txt. Overvej, om synlighed i AI-svar er vigtig for virksomheden, før man blokerer, da en blokering også kan betyde, at indholdet ikke bliver brugt som kilde.
Hvad er de typiske fejl?
Den mest almindelige fejl er at blokere vigtige sider i robots.txt ved en fejl, f.eks. efter en migrering fra et testmiljø.
Crawler Google med mobil eller computer?
Google crawler i dag næsten alle websites med Googlebot til mobil. Det betyder, at det er mobilversionen af jeres sider, Google læser og vurderer.
Hvis indhold, links eller strukturerede data kun findes i computerversionen, risikerer I, at Google aldrig ser dem. Sørg derfor for, at mobil og computer viser det samme indhold.
Hvordan påvirker serverens hastighed crawlingen?
Google tilpasser, hvor mange sider den crawler, til hvor hurtigt og stabilt jeres server svarer. Svarer serveren langsomt eller med fejl, sænker Google tempoet for ikke at belaste den.
En hurtig og stabil server giver derfor ikke kun en bedre oplevelse for de besøgende. Den gør det også lettere for Google at finde nye og opdaterede sider hurtigt.
Læs også om JavaScript SEO.
Hvordan ser man, hvad Google crawler?
I Google Search Console finder man rapporten "Crawlstatistik" under indstillinger. Den viser, hvor mange forespørgsler Google sender til jeres website hver dag, hvor hurtigt serveren svarer, og hvilke typer filer der bliver hentet. Store udsving er et tegn på, at noget har ændret sig, f.eks. nye fejl eller mange nye sider.
Senest opdateret: 27. oktober 2026
