SEO 

Hvad kan crawleren og hvorfor er det vigtigt ?

november 25, 2020

Crawling og indeksering

For at forstå Google, er det vigtigt at du grundlæggende forstår hvordan crawleren og indekseringen af siderne fungerer. Groft sagt, har din hjemmeside et budget ift. indeksering af sider på dit domæne. Det er med andre ord nemmere for Google at crawle og indeksere en hjemmeside med få undersider kontra en side med flere tusinde undersider. Når vi er oppe i det antal, er det vigtigt at påvirke og kontrollere budgettet.

Hvorfor er dit crawl-budget vigtigt?

Google har store udgifter forbundet med at crawle, eller gennemgå, domæner. Udgifterne går først og fremmest til datacentre og driften af disse, som der er skudt flere op af i Danmark – bl.a. i Fredericia.

Dette er den helt store grund til at Google har et crawl-budget. Ved at optimere din hjemmeside rent teknisk, gør du det lettere for Google at crawle og indeksere det rigtige, hvilket i sidste ende betyder bedre resultater.

Skal jeg tage et kig på om din hjemmeside kan crawles og indekseres?

Jakob H. Paydari, SEO Specialist

Faktorer med indvirkning på crawl-budgettet

  • Domænets alder
  • En stærk backlink profil
  • Størrelsen på domænet (antal undersider)
  • Mængden af nyt indhold

For at sikre crawling fungerer så godt som muligt skal det være nemt for Google at bevæge sig rundt på og analysere din hjemmeside. I denne proces opstår der en masse faldgruber, som danner grobund for dette indlæg.

Search Console er det muligt at se crawl stats her: https://search.google.com/search-console/settings/crawl-stats

Hvor mange sider skal indekseres?

Det er vigtigt at være bevidst om forskellene på hjemmesider med mange undersider (de vil typisk blive crawlet oftere) end sider med ganske få sider. Mellem 100-1000 undersider, eller under, er ikke særligt store domæner. Men når vi bevæger os op herfra, så begynder det at have betydning, især når vi kommer op over 10.000.

Vi har set gentagne eksempler på at sider har opnået bedre rankings på kerneforretningen, når vi optimerer crawlbudgettet. Bl.a. ved brugen af <meta name=”robots” content=”noindex, follow”

Bedre rankings med optimeret crawl-budget

Det er vores egen erfaring, at der opnås bedre rankings ved f.eks. at deindeksere tomme sider, uden nogen rankingmæssig betydning. Vi har oplevet forbedrede rankings helt ned på domæner med 500 sider, hvor sider med tomt eller ingen indhold i nogle tilfælde har fyldt helt op til 20%, eller 100 sider. Det er meget fokus på sider, uden reel betydning for dine rankings.Der er mange delte meninger om emnet. Andre vil utvivlsomt sige det er effektløst og spild af tid – endda på de store domæner også. For os er det også et spørgsmål om kvalitet i søgeresultaterne og på domænet generelt. Der skal ikke være 20% af et domæne, som udelukkede består af tomme sider med lav kvalitet.

Find også Sommersang Digital på de sociale medier

© 2022

Kompetencer & ydelser
Bliv kontaktet