Cum împiedic motoarele de căutare să indexeze site-ul (robots.txt)?

Crawlerele motoarelor de căutare (boți/spiders) parcurg site-ul pentru a-l indexa. Poți influența comportamentul lor cu fișierul robots.txt, aflat în public_html (accesibil la http://numedomeniu.tld/robots.txt).

Notă: robots.txt este o recomandare — boții legitimi (Google, Bing) o respectă, dar boții rău-intenționați o pot ignora.

Editează fișierul din cPanel → File Manager. Exemple:

Permite indexarea completă

User-agent: *
Disallow:

Blochează indexarea completă

User-agent: *
Disallow: /

Blochează un anumit crawler (ex. Baidu)

User-agent: Baiduspider
Disallow: /

Blochează anumite directoare/pagini

User-agent: *
Disallow: /privat/
Disallow: /contact.htm

Permite doar un motor de căutare

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

(Directiva Crawl-delay nu mai este respectată de Googlebot; pentru Google, gestionează rata de crawl din Search Console.)