Cum setez un Crawl Delay pentru Google?

Notă: Google a eliminat opțiunea de limitare manuală a ratei de crawling din Google Search Console. În prezent, Google ajustează automat rata de crawling în funcție de capacitatea serverului tău și de conținut.

Dacă serverul este suprasolicitat de crawlere, poți:

• reduce sarcina prin optimizarea site-ului și caching;
• controla accesul boților prin robots.txt (directiva Crawl-delay este respectată de unele motoare, dar nu de Google);
• raporta temporar o rată excesivă direct din Search Console.