A robots.txt tiltja az oldalamat: mit jelent, és hogyan javítsam?
A robots.txt fájl azt mondja a keresőrobotoknak, mely URL-eket ne kérjék le. Ha egy fontos oldaladra vagy a teljes webhelyre illeszkedő Disallow szabály került bele, a Google nem tudja feltérképezni az oldalt, ezért nem tudja rendesen feldolgozni és frissíteni sem. Nyisd meg a domain gyökerében lévő /robots.txt fájlt, keresd meg az érintett útvonalra illeszkedő szabályt, szűkítsd vagy töröld, majd az URL-vizsgálatban teszteld újra az oldalt. A robots.txt nem alkalmas arra, hogy egy már nyilvános weboldalt biztosan eltüntess a találatokból: ehhez noindex vagy jelszavas védelem kell.
Mit jelent ez az üzletednek?
Súlyosság: magas. A tiltás a fontos oldalak feltérképezését állíthatja le, ezért új vagy frissített tartalom nem jut el a Google-höz.
Ha a Googlebot nem kérheti le a szolgáltatás-, termék- vagy tudásbázisoldalaidat, azok nem tudnak rendesen bekerülni vagy frissülni a keresőben. Egy hibás, teljes webhelyre vonatkozó tiltás különösen veszélyes: látszólag működik az oldal, de a szerves forgalom fokozatosan vagy hirtelen eltűnhet.
A leggyakoribb okok – és hogyan ismered fel őket
- 1
Túl széles Disallow szabály
A Disallow: / szabály minden útvonalat kizár. Gyakori hiba, hogy ez egy tesztoldalról az éles oldalra is átkerül.
Így ellenőrizd: Nyisd meg a https://ceged.hu/robots.txt címet. Látsz benne Disallow: / sort a User-agent: * alatt?
- 2
Egy könyvtár tiltása fontos oldalakat is érint
Például a Disallow: /szolgaltatasok/ minden ezen belüli URL-t érint, nem csak az ideiglenes oldalt, amely miatt a szabály született.
Így ellenőrizd: Hasonlítsd össze az érintett URL útvonalát a Disallow sorral; a szabály eleje megegyezik vele?
- 3
Fejlesztői vagy SEO-bővítmény állította be
WordPress-bővítmény, staging beállítás, CDN vagy egyedi szerverkonfiguráció is létrehozhatja a fájlt.
Így ellenőrizd: Nézd meg, mikor változott utoljára a fájl, és van-e hozzá robots.txt mező a CMS-ben vagy a tárhelyen.
- 4
A Google régi állapotot lát
Javítás után a CDN vagy szervercache még a régi robots.txt fájlt adhatja vissza.
Így ellenőrizd: Nyisd meg inkognitóban is a /robots.txt címet, és ellenőrizd a legutóbbi módosítást a Search Console URL-vizsgálatában.
Javítás lépésről lépésre
- 1. lépés
Azonosítsd az érintett URL-t és a szabályt
A Search Console-ban nyisd meg a hibasort, majd az URL-vizsgálatban ellenőrizd az egyik fontos oldalt. Ezután böngészőben nyisd meg a domain gyökerén a /robots.txt fájlt, és keresd azt a Disallow sort, amely az URL útvonalára illeszkedik.
- 2. lépés
Csak azt tiltsd, amit valóban nem akarsz feltérképeztetni
A publikus szolgáltatás-, kategória-, termék- és cikkoldalak legyenek elérhetők. Maradhat tiltva például egy adminfelület vagy olyan technikai oldal, amelynek feltérképezése felesleges. Ne próbálj robots.txt-vel elrejteni érzékeny adatot: azt jelszóval védd.
- 3. lépés
Javítsd a szabályt
Ha a teljes oldal tiltott, töröld a Disallow: / sort vagy cseréld engedő szabályra. Ha csak egy könyvtár túl széles, szűkítsd a pontos, nem publikus útvonalra. A fájl legyen a domain gyökerében és UTF-8 kódolású.
- 4. lépés
Tedd bele a sitemap helyét
A robots.txt végén add meg a teljes sitemap URL-t. Ez segít a keresőknek megtalálni a fontos, kanonikus oldalakat, de nem helyettesíti a jól bejárható belső linkeket.
- 5. lépés
Ürítsd a cache-t és teszteld
Töröld a CMS-, szerver- és CDN-cache-t, majd nézd meg újra a publikus /robots.txt fájlt. Az URL-vizsgálat élő tesztjében ellenőrizd, hogy a Googlebot már le tudja-e kérni az oldalt.
- 6. lépés
Kérj újraindexelést a fontos oldalakra
Ha a tiltás megszűnt, az URL-vizsgálatban kérj indexelést néhány stratégiai oldalra. A többit a sitemap és a belső linkek alapján a Google fokozatosan újra bejárja.
Tippek platformonként
WordPress
A Beállítások → Olvasás alatt nézd meg, nincs-e bekapcsolva a keresőmotorok visszatartása. SEO-bővítmény vagy cache-bővítmény is kezelheti a robots.txt tartalmát; ne legyen két egymással ellentmondó forrás.
Wix / Shopify
Ezeken a rendszereken a robots.txt részben rendszerkezelt. Először az adott oldal keresőindexelési beállítását ellenőrizd, mert ezt a platform sokszor biztonságosabban kezeli, mint egy egyedi robots-szabályt.
Egyedi / Next.js
Ellenőrizd, hogy a robots.txt-t generáló route vagy a statikus public fájl az éles környezetben nem staging beállítást használ-e. A deploy után a CDN-kiszolgált verziót is vizsgáld meg.
Gyakori hibák javítás közben
- A robots.txt-t használni noindex helyett egy már publikus HTML-oldal eltávolítására.
- Egy egész könyvtár tiltása, amikor csak egy technikai URL-t akarsz kizárni.
- A CSS- és JavaScript-fájlokat letiltani úgy, hogy a Google nem tudja megfelelően renderelni az oldalt.
- A javítás után elfelejteni üríteni a CDN-cache-t.
Mikor kérj segítséget?
Ha a tiltás több aldomainre, nyelvi változatra vagy több ezer URL-re vonatkozik, a robots.txt, a noindex, a canonical és a sitemap jeleit együtt kell átnézni. Technikai auditban feltérképezzük, pontosan mely fontos URL-ek elérhetők a Googlebot számára.
Gyakori kérdések
A robots.txt teljesen eltünteti az oldalt a Google-ből?
Nem biztosan. A robots.txt a feltérképezést tiltja, nem az indexelést. Külső linkek alapján az URL tartalomleírás nélkül még megjelenhet. Biztos eltávolításhoz noindex vagy jelszavas védelem kell.
Mennyi idő alatt látja a Google a javítást?
A robots.txt fájlt a Google rendszeresen újra lekéri, de a fontos URL-ek újrafeltérképezése eltérő ideig tarthat. Az URL-vizsgálat élő tesztje azonnal jelzi, hogy a Googlebot eléri-e az oldalt.
Kell robots.txt minden weboldalhoz?
Nem kötelező. Ha nincs külön irányelved, a Google alapvetően feltérképezheti a nyilvános oldalakat. Fájlt akkor érdemes használni, ha tudatosan szabályozod a crawl forgalmat.