For at forstå Google, er det vigtigt at du grundlæggende forstår hvordan crawleren og indekseringen af siderne fungerer. Groft sagt, har din hjemmeside et budget ift. indeksering af sider på dit domæne. Det er med andre ord nemmere for Google at crawle og indeksere en hjemmeside med få undersider kontra en side med flere tusinde undersider. Når vi er oppe i det antal, er det vigtigt at påvirke og kontrollere budgettet.
Google har store udgifter forbundet med at crawle, eller gennemgå, domæner. Udgifterne går først og fremmest til datacentre og driften af disse, som der er skudt flere op af i Danmark – bl.a. i Fredericia.
Dette er den helt store grund til at Google har et crawl-budget. Ved at optimere din hjemmeside rent teknisk, gør du det lettere for Google at crawle og indeksere det rigtige, hvilket i sidste ende betyder bedre resultater.
Jakob H. Paydari, SEO Specialist
For at sikre crawling fungerer så godt som muligt skal det være nemt for Google at bevæge sig rundt på og analysere din hjemmeside. I denne proces opstår der en masse faldgruber, som danner grobund for dette indlæg.
I Search Console er det muligt at se crawl stats her: https://search.google.com/search-console/settings/crawl-stats
Det er vigtigt at være bevidst om forskellene på hjemmesider med mange undersider (de vil typisk blive crawlet oftere) end sider med ganske få sider. Mellem 100-1000 undersider, eller under, er ikke særligt store domæner. Men når vi bevæger os op herfra, så begynder det at have betydning, især når vi kommer op over 10.000.
Vi har set gentagne eksempler på at sider har opnået bedre rankings på kerneforretningen, når vi optimerer crawlbudgettet. Bl.a. ved brugen af <meta name=”robots” content=”noindex, follow”
Det er vores egen erfaring, at der opnås bedre rankings ved f.eks. at deindeksere tomme sider, uden nogen rankingmæssig betydning. Vi har oplevet forbedrede rankings helt ned på domæner med 500 sider, hvor sider med tomt eller ingen indhold i nogle tilfælde har fyldt helt op til 20%, eller 100 sider. Det er meget fokus på sider, uden reel betydning for dine rankings.Der er mange delte meninger om emnet. Andre vil utvivlsomt sige det er effektløst og spild af tid – endda på de store domæner også. For os er det også et spørgsmål om kvalitet i søgeresultaterne og på domænet generelt. Der skal ikke være 20% af et domæne, som udelukkede består af tomme sider med lav kvalitet.