Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.

Если файл robots.txt сайта не позволяет просканировать все эти ресурсы, возникают ошибки. Из-за этого рейтинг сайта в Google Поиске становится низким.

Что нужно сделать для гугла, чтобы Ваш сайт не пропал из поиска?
Читайте здесь, что нужно исправить в файле роботс для движков джумла и вордпресс.