În Magento 2, conținutul fișierului robots.txt se gestionează din Admin. Iată cum.
Editarea robots.txt
- Accesează Content → Design → Configuration.
- Pe linia Global, apasă Edit și deschide secțiunea Search Engine Robots.
- Alege Default Robots: INDEX, FOLLOW (recomandat pentru producție), NOINDEX, FOLLOW, INDEX, NOFOLLOW sau NOINDEX, NOFOLLOW.
- În Edit custom instruction of robots.txt File poți adăuga reguli proprii, apoi Save Configuration.
Exemple de instrucțiuni
Blocarea zonelor tehnice și a paginilor irelevante pentru indexare:
User-agent: *
Disallow: /index.php/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /customer/
Disallow: /sendfriend/
Disallow: /*?SID=
Disallow: /*?dir=
Disallow: /*?limit=
Disallow: /*?mode=Nu bloca directoare precum /pub/media/ sau /static/, deoarece conțin imaginile și fișierele necesare afișării corecte. Adaugă și linia către sitemap:
Sitemap: https://www.example.com/sitemap.xml
