---
title: "Cum împiedic motoarele de căutare să indexeze site-ul (robots.txt)?"
description: "Crawlerele motoarelor de căutare (boți/spiders) parcurg site-ul pentru a-l indexa. Poți influența comportamentul lor cu fișierul `robots.txt`, aflat în `public_html` (accesibil la `http://numedomeniu.tld/robots.txt`). > **Notă:** `robots.txt` este o recomandare — boții legitimi (Google, Bing) o respectă, dar boții rău-intenționați o…"
url: "https://www.hostx.ro/kb/cum-sa-impiedicati-motoarele-de-cautare-sa-indexeze-crawlink-site-ul-dvs/"
updated: "2026-07-26"
category: Motoare de căutare
tags:
  - File Manager
  - indexare
  - robots.txt
  - SEO
---

# Cum împiedic motoarele de căutare să indexeze site-ul (robots.txt)?

Crawlerele motoarelor de căutare (boți/spiders) parcurg site-ul pentru a-l indexa. Poți influența comportamentul lor cu fișierul `robots.txt`, aflat în `public_html` (accesibil la `http://numedomeniu.tld/robots.txt`).

> **Notă:** `robots.txt` este o recomandare — boții legitimi (Google, Bing) o respectă, dar boții rău-intenționați o pot ignora.

Editează fișierul din cPanel → File Manager. Exemple:

### Permite indexarea completă

```
User-agent: *
Disallow:
```

### Blochează indexarea completă

```
User-agent: *
Disallow: /
```

### Blochează un anumit crawler (ex. Baidu)

```
User-agent: Baiduspider
Disallow: /
```

### Blochează anumite directoare/pagini

```
User-agent: *
Disallow: /privat/
Disallow: /contact.htm
```

### Permite doar un motor de căutare

```
User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:
```

(Directiva `Crawl-delay` nu mai este respectată de Googlebot; pentru Google, gestionează rata de crawl din Search Console.)