In cazul in care aveti prea multe solicitari (request-uri) din partea crawlere-lor si doriti sa mariti timp-ul de access pentru crawlerele Google :
- Autentificati-va in panoul de administrare Google Webmaster Tools
- Click apoi pe numele site-ului la care doriti marirea intervalului de crawling
- Click apoi pe Site Settings
- Apoi click pe Limit Google's maximum crawl rate
- Ajustati crawl rate la cat doriti dvs.
- Click pe butonul Save