Mi az a Crawl Budget (Feltérképezési Keret) és Hogyan Optimalizáld?
A Crawl Budget a Googlebot erőforrás-kerete a weboldaladhoz. Tudd meg, miért pazarolják a nagy webshopok az indexelési keretüket és hogyan gyorsítsd a robotokat.
Mit jelent pontosan a Crawl Budget a Google szemében?
A Google szerverei és robotjai sem rendelkeznek végtelen kapacitással. A **Crawl Budget (Feltérképezési keret)** azt az időmennyiséget és oldalszámot jelenti, amit a Googlebot hajlandó és képes átvizsgálni a weboldaladon egy adott időszak (nap vagy hét) alatt. Bár egy 20 oldalas bemutatkozó weboldalnál ez ritkán jelent problémát, a több ezer termékkel rendelkező webshopoknál, hírportáloknál és dinamikus portáloknál a rossz crawl budget kihasználás miatt a friss termékek hetekig vagy hónapokig láthatatlanok maradnak a keresőben.
- Crawl Rate Limit (Szerver terhelhetőség): A Googlebot automatikusan visszavesz a látogatási sebességből, ha a szervered lassan válaszol, hogy ne omoljon össze a weboldalad.
- Crawl Demand (Feltérképezési igény): Minél népszerűbb és frissebb egy weboldal (sok értékes külső hivatkozással), a Google annál több robotkapacitást allokál számára.
Az 5 legnagyobb Crawl Budget pazarló tényező, amit fel kell számolnod
A technikai auditok során az alábbi hibák emésztik fel a robotok idejének döntő többségét:
- 1. Végtelen paraméteres URL-ek és felesleges szűrők: Webshopokban a szín, méret, ár és sorrendezési szűrők kombinációi több százezer felesleges, duplikált URL-t generálnak a robotoknak.
- 2. Átirányítási láncok (Redirect Chains): Amikor az A oldal a B-re, a B a C-re mutat, a robotok minden egyes lépésnél pazarolják a lekéréseket.
- 3. Törött 404-es linkek: A belső kódokból elérhető halott oldalak feltérképezése teljesen feleslegesen fogyasztja a keretet.
- 4. Lassú szerver válaszidő (TTFB > 600ms): Ha a szerver másodpercekig gondolkodik 1-1 lap kiszolgálásán, a Googlebot jóval kevesebb oldalt tud átnézni.
- 5. Zsákutcák és duplikált tartalmak (Soft 404-ek).
Hogyan optimalizáld a feltérképezési keretedet a maximális hatékonyságért?
- Tartsd karban az XML Sitemap fájlodat: Csak és kizárólag 200 OK státuszú, valóban értékes indexelendő URL-ek szerepeljenek benne!
- Gyorsítsd fel a szerver válaszidejét (Szerver gyorsítótárazás, CDN, Redis, optimalizált adatbázis lekérdezések).
- Zárd ki a robots.txt-ben a rendszermappákat, belső keresési találatokat és admin felületeket.
- Kövesd nyomon a Search Console 'Feltérképezési statisztikák' (Crawl Stats) jelentését a Beállítások menüben!
Nem vagy biztos benne, hogyan állítsd be a weboldaladon?
Minden weboldal és tartalomkezelő (WordPress, Webflow, Shopify vagy egyedi fejlesztés) más technikai felépítéssel működik. Ne pazarold az idődet a kockázatos kísérletezésre! Két debreceni egyetemistaként alaposan átvilágítjuk a teljes weboldaladat, feltárjuk az összes rejtett technikai, sebességi és SEO akadályt, és pontos, személyre szabott feladatlistát készítünk a javításhoz.