Ce este fișierul robots.txt?

robots.txt este un fișier text simplu, aflat în rădăcina site-ului, prin care le spui roboților motoarelor de căutare ce părți ale site-ului pot sau nu pot să exploreze (crawl).

La ce folosește

• Împiedici indexarea unor zone (de exemplu foldere administrative sau de test)
• Eviți irosirea „bugetului de crawl” pe pagini neimportante
• Indici locația sitemap-ului XML

Cum arată

User-agent: *
Disallow: /wp-admin/
Sitemap: https://domeniultau.ro/sitemap.xml

Limite importante

• robots.txt este o indicație, nu o măsură de securitate — roboții „cuminți” o respectă, dar nu garantează blocarea
• Pentru a proteja cu adevărat conținut, folosește autentificare, nu doar robots.txt
• O regulă greșită poate ascunde accidental tot site-ul din căutări — verifică cu atenție

De reținut

Fișierul se accesează la domeniultau.ro/robots.txt. Multe pluginuri SEO (de exemplu la WordPress) îl pot gestiona pentru tine.