Mi az a robots.txt Fájl? Szabályok, Felépítés és Biztonság
A robots.txt a keresőrobotok forgalomirányítója. Ismerd meg a helyes direktívákat, az admin felületek elrejtését és a kint felejtett tiltások veszélyeit.
Hol található és miért nélkülözhetetlen a robots.txt?
A keresőrobotok (mint a Googlebot vagy Bingbot) a weboldal meglátogatásakor legelső lépésként MINDIG a domain gyökerében lévő robots.txt fájlt keresik (pl. `https://weboldalad.hu/robots.txt`). Ha ez a fájl hiányzik, vagy hibás szintaktikát tartalmaz, a robotok korlátozás nélkül pazarolják a feltérképezési kapacitásukat (Crawl Budget) felesleges rendszerfájlokra, belső keresési találatokra és admin felületekre a valódi termék- és szolgáltatásoldalaid helyett.
- Közvetlenül a domain gyökerében kell elérhetőnek lennie: domain.hu/robots.txt.
- Csupa kisbetűvel kell elnevezni (nem Robots.TXT vagy robots.txt.html).
- Tiszta UTF-8 szöveges (plain text) formátumúnak kell lennie.
A legfontosabb direktívák és jelentésük
A robots.txt fájl szabályai rendkívül logikusak és tömörek:
- User-agent: Megadja, hogy a szabály melyik robotra vonatkozik (a * csillag az összes robotot jelenti, a Googlebot csak a Google-t).
- Disallow: Megadja a tiltott mappa vagy URL útvonalát.
- Allow: Felülírja a tiltást egy adott almappára (pl. a wp-admin/admin-ajax.php engedélyezése).
- Sitemap: Közvetlen link az XML oldaltérképedre, hogy a robotok azonnal megtalálják az új cikkeket.
A legveszélyesebb hiba: kint felejtett 'Disallow: /' fejlesztés után
A fejlesztők tesztkörnyezetben gyakran lezárják az oldalt a `Disallow: /` sorral, hogy a félkész oldal ne kerüljön be a Google-be. Ha az élesítéskor (Go-Live) ezt a sort elfelejtik törölni, a Google napokon belül kidobja a teljes weboldalt az indexből, és a cég összes organikus forgalma nullára zuhan!
- Soha ne hagyj éles weboldalon 'Disallow: /' utasítást!
- Ne tiltsd le a CSS és JavaScript fájlokat tartalmazó mappákat, mert a Googlebotnak látnia kell az oldal vizuális elrendezését a mobilbarát minősítéshez.
- A robots.txt nem titkosítási eszköz: amit beírsz a Disallow sorba, azt bárki elolvashatja a böngészőjében.
Nem vagy biztos benne, hogyan állítsd be a weboldaladon?
Minden weboldal és tartalomkezelő (WordPress, Webflow, Shopify vagy egyedi fejlesztés) más technikai felépítéssel működik. Ne pazarold az idődet a kockázatos kísérletezésre! Két debreceni egyetemistaként alaposan átvilágítjuk a teljes weboldaladat, feltárjuk az összes rejtett technikai, sebességi és SEO akadályt, és pontos, személyre szabott feladatlistát készítünk a javításhoz.