Pe lângă robots.txt, poți controla indexarea la nivel de pagină cu un meta tag robots, plasat în secțiunea <head>:
<head>
<meta name="robots" content="noindex, nofollow">
</head>Variante
<meta name="robots" content="noindex, follow">— nu indexa pagina, dar urmărește linkurile;<meta name="robots" content="index, nofollow">— indexează pagina, dar nu urmări linkurile;<meta name="robots" content="noindex, nofollow">— nici indexare, nici urmărire.
Spre deosebire de robots.txt (care doar cere să nu se facă crawl), noindex asigură că pagina nu apare în rezultate — dar pagina trebuie să fie accesibilă crawlerului pentru ca acesta să vadă tag-ul.
