Alla artiklar

Robots.txt SEO: Styr Googles crawling av din sajt

För robotar
17 november 2026
Robots.txt SEO: Styr Googles crawling av din sajt

Robots.txt SEO: Styr Googles crawling av din sajt

En robots.txt-fil är en enkel textfil som ligger i roten på din webbplats och talar om för sökmotorernas crawlers vilka delar av sajten de får besöka och vilka de ska hålla sig borta från. För den som jobbar med SEO är den ett grundläggande verktyg för att styra hur Google och andra sökmotorer upptäcker och indexerar ditt innehåll.

Vad är en robots.txt-fil?

Robots.txt är en fil som följer Robot Exclusion Protocol, en standard som berättar för webbcrawlers vilka URL:er på en sajt de får komma åt. Filen placeras i webbplatsens rotkatalog, till exempel exempel.se/robots.txt, och läses av sökmotorernas robotar innan de börjar crawla sajten.

Det är viktigt att förstå att robots.txt inte är ett säkerhetsverktyg. Den hindrar inte människor eller illvilliga botar från att besöka en sida. Den ger endast rekommendationer till legitima sökmotorcrawlers om vilka delar av sajten de bör prioritera och vilka de bör undvika.

Var placeras filen?

Robots.txt måste ligga i rotkatalogen på domänen. Om din sajt är exempel.se ska filen finnas på exempel.se/robots.txt. Lägger filen i en undermapp, till exempel exempel.se/mapp/robots.txt, ignoreras den av de flesta crawlers eftersom de bara letar efter filen på rotnivå.

Du kan kontrollera om din sajt har en robots.txt genom att lägga till /robots.txt efter domännamnet i webbläsarens adressfält. Ser du en tom sida eller ett 404-fel har du antingen ingen fil eller så ligger den på fel plats.

De vanligaste direktiven

En robots.txt-fil består av en eller flera regelgrupper. Varje grupp börjar med ett User-agent-direktiv som anger vilken crawler regeln gäller för, följt av ett eller flera Disallow- eller Allow-direktiv som anger vilka sidor som är blockerade eller tillåtna.

User-agent

User-agent anger vilken crawler regeln gäller för. Du kan rikta dig till en specifik crawler eller använda wildcardet * för att gälla alla crawlers.

Exempel som gäller alla crawlers:

User-agent: *

Exempel som bara gäller Googlebot:

User-agent: Googlebot

Disallow

Disallow anger vilka sidor eller kataloger en crawler inte får besöka. Du kan blockera enskilda sidor, hela mappar eller mönster.

Blockera en enskild sida:

Disallow: /privat-sida/

Blockera en hel mapp:

Disallow: /admin/

Blockera alla sidor som börjar med ett visst ord:

Disallow: /tmp/

Allow

Allow används för att öppna upp en specifik sida eller mapp även om en bredare Disallow-regel annars skulle blockera den. Detta är användbart när du vill blockera en katalog men tillåta en viss undermapp.

Exempel: blockera /bilder/ men tillåt /bilder/publika/:

User-agent: *
Disallow: /bilder/
Allow: /bilder/publika/

Sitemap

Du kan peka ut var din XML-sitemap finns genom att lägga till en Sitemap-rad i robots.txt. Detta hjälper sökmotorer att hitta och indexera dina viktigare sidor snabbare.

Sitemap: https://exempel.se/sitemap.xml

Ett exempel på en grundläggande robots.txt

Här är ett enkelt exempel som blockerar administratörsområdet och en mapp med testfiler, men tillåter allt annat:

User-agent: *
Disallow: /admin/
Disallow: /test/
Allow: /test/publikt/
Sitemap: https://exempel.se/sitemap.xml

Vanliga misstag att undvika

Att tro att robots.txt skyddar känslig information

Robots.txt hindrar inte obehörig åtkomst. Om du har sidor med känslig information, till exempel inloggningssidor eller kunddata, ska du skydda dem med lösenord eller autentisering – inte enbart med robots.txt. Sökmotorer kan ändå indexera URL:en om andra länkar till den, även om de inte crawlar innehållet.

Att blockera viktiga sidor av misstag

Det är lätt att råka blockera sidor som du vill ska ranka i sökresultaten. En alltför bred Disallow-regel, till exempel Disallow: /, blockerar hela sajten från att indexeras. Dubbelkolla alltid dina regler innan du publicerar filen.

Att glömma bort utvecklingsmiljöer

Om du har en testmiljö eller en staging-sajt bör den blockeras från sökmotorer så att inte ofärdigt innehåll dyker upp i sökresultaten. Samtidigt måste du se till att produktionssajten inte råkar blockeras.

Att inte uppdatera filen när sajtens struktur förändras

När du lägger till nya mappar, byter URL-struktur eller tar bort sidor bör du se över robots.txt så att den fortfarande stämmer överens med hur sajten ser ut idag.

Så testar du din robots.txt

Innan du publicerar en ny robots.txt bör du testa den för att se till att den fungerar som tänkt. Google Search Console har ett verktyg för att testa robots.txt där du kan se om en viss URL är tillåten eller blockerad för Googlebot. Du kan också använda sökmotorernas egna dokumentation för att lära dig mer om hur de tolkar filen.

Efter att du har publicerat filen kan det ta någon tid innan ändringarna träder i kraft, eftersom sökmotorerna behöver crawlsa din sajt igen för att upptäcka den uppdaterade robots.txt.

Sammanfattning

Robots.txt är ett enkelt men kraftfullt verktyg i din SEO-verktygslåda. Använd den för att styra vilka delar av sajten sökmotorerna ska crawla, undvik vanliga misstag som att blockera viktigt innehåll, och kom ihåg att den inte ersätter riktig åtkomstskydd för känsliga sidor. Med en väl genomtänkt robots.txt gör du det lättare för sökmotorer att hitta och indexera det innehåll som verkligen betyder något för din sajt.

Relaterade artiklar