Vad är Crawlability?
Crawlability är förmågan hos en sökmotor-crawler, såsom Googlebot, att komma åt webbsidor och resurser på en webbplats. Crawlability-problem kan ha en negativ påverkan på webbplatsens organiska sökresultat.
Du bör skilja crawlability från indexering. Indexering hänvisar till en sökmotors förmåga att analysera en sida och lägga till den i sin sökindex. Endast sidor som kan crawlas och indexeras kan upptäckas och indexeras av Google, vilket innebär att de kan visas i sökmotorresultat.
Varför är crawlability viktigt?
Crawlability är avgörande för vilken webbplats som helst som är avsedd att ta emot organisk söktrafik. Crawlability möjliggör för sökmotorer att crawla sidor för att läsa och analysera deras innehåll så att det kan läggas till i sökindexet.
En sida kan inte indexeras korrekt utan att crawlas. Här lägger vi till ”korrekt” eftersom Google i sällsynta fall kan indexera en URL utan att crawla den baserat på URL-texten och ankartexten i dess backlinks, men sidans titel och beskrivning kommer inte att visas på SERP.
Crawlability är inte bara viktigt för Google. Andra specifika webbcrawlers måste krypa webbsidor av olika skäl.
Vad påverkar en webbplats crawlability?
- Upptäckbarhet av sidor: Innan en crawler kan crawla en webbsida måste den först upptäcka den webbsidan. Webbplatser som inte finns i webbplatskartan eller saknar interna länkar (kända som föräldralösa sidor) kan inte hittas av crawlern och kan därför inte krypas eller indexeras. Om du vill att en sida ska indexeras måste den inkluderas i webbplatskartan och ha interna länkar (helst båda).
- Nofollow-länkar: Googlebot följer inte länkar med attributet ”rel=nofollow”. Så om en sida har, till exempel, endast en nofollow-länk är det likvärdigt med att inte ha några länkar alls när det gäller crawling.
- Robots.txt-fil: En robots.txt-fil talar för webbcrawlers vilka delar av din webbplats de kan och inte kan komma åt. Om du vill att sidan ska vara krypbar får den inte vara förbjuden i robots.txt.
- Åtkomstbegränsningar: Webbsidor kan ha specifika begränsningar som hindrar crawlers från att nå dem. Dessa kan inkludera någon form av:
- Inloggningssystem
- User-agent blockering
- IP-adressblockering