WAF-правила для WordPress: как не заблокировать Googlebot

Блокировка поисковых ботов — это частый побочный эффект избыточной настройки WAF (Web Application Firewall). Например, после внедрения строгих правил защиты WordPress администратор обнаруживает падение индексации сайта в Google. Причина? WAF принял Googlebot за злоумышленника и заблокировал его доступ. Разберем, как избежать таких ситуаций.

Что ломается в проде

Симптомы блокировки поисковых ботов могут проявляться не сразу. Вот что чаще всего замечают администраторы:

• Резкое снижение органического трафика в Google Analytics
• Ошибки 403 или 503 в отчетах Google Search Console
• Долгое обновление данных индексации или их полное отсутствие
• Проблемы с доступом к файлу robots.txt или sitemap.xml

Эти проблемы возникают, когда WAF блокирует запросы, исходящие от Googlebot или других SEO-ботов. Причина может быть в неправильно настроенных правилах, которые не различают легитимный трафик и подозрительные запросы.

Почему это происходит

На практике WAF может блокировать поисковых ботов по нескольким причинам:

• Агрессивные правила блокировки по User-Agent: Некоторые боты могут использовать User-Agent, похожий на Googlebot, что приводит к ложным срабатываниям.
• IP-блокировки: Если диапазоны IP-адресов Google не добавлены в белый список, они могут быть заблокированы.
• Анализ поведения: Некоторые WAF используют поведенческий анализ для выявления подозрительных запросов. Если Googlebot делает слишком много запросов за короткий промежуток времени, это может быть расценено как DDoS-атака.
• Ошибки в пользовательских правилах: Неправильная конфигурация кастомных правил может привести к блокировке легитимного трафика.

Пример из практики

Один из клиентов обратился ко мне с проблемой: сайт резко потерял позиции в поисковой выдаче, а органический трафик упал почти до нуля. Анализ логов сервера показал, что все запросы от Googlebot возвращали ошибку 403. Причиной оказалась ошибка в кастомном правиле WAF, которое блокировало все запросы с User-Agent, содержащим слово "bot". Это правило было добавлено для защиты от спам-ботов, но в итоге заблокировало и поисковые боты. После корректировки правила индексация сайта восстановилась через несколько дней.

Как избежать блокировки Googlebot

Чтобы избежать блокировки поисковых ботов, необходимо правильно настроить WAF. Вот пошаговая инструкция:

1. Проверка User-Agent

Googlebot использует специфический User-Agent, который можно проверить. Пример строки User-Agent для Googlebot:

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Убедитесь, что ваши правила WAF не блокируют этот User-Agent. Если вы используете кастомные правила, добавьте исключение для Googlebot.

Как проверить?

• Просмотрите логи сервера на наличие запросов с User-Agent, содержащим "Googlebot".
• Используйте инструмент Google Mobile-Friendly Test для проверки доступности сайта для Googlebot.

2. Белый список IP-адресов

Google публикует список IP-адресов, используемых их ботами. Вы можете добавить эти IP-адреса в белый список WAF. Вот ссылка на актуальный список: IP-адреса Googlebot.

Как проверить?

• Сравните IP-адреса заблокированных запросов с опубликованным списком Google.
• Используйте команду host или nslookup для обратного разрешения IP-адресов. Например: host 66.249.66.1.

3. Настройка поведенческого анализа

Если ваш WAF использует поведенческий анализ, настройте лимиты запросов так, чтобы они не блокировали легитимные боты. Например, Googlebot может отправлять до нескольких сотен запросов в минуту.

Как проверить?

• Изучите документацию вашего WAF, чтобы узнать, как настроить лимиты запросов.
• Проверьте логи на наличие блокировок с причиной "Rate Limiting".

4. Тестирование конфигурации

После внесения изменений в правила WAF важно протестировать их. Используйте инструменты, такие как:

• Google Mobile-Friendly Test
• Google Search Console
• Логи веб-сервера для анализа запросов от Googlebot

Регулярное тестирование поможет оперативно выявлять и устранять проблемы.

Чеклист: настройка WAF для WordPress

Для минимизации риска блокировки поисковых ботов следуйте этому чеклисту:

• Проверьте и настройте правила блокировки по User-Agent.
• Добавьте IP-адреса Googlebot в белый список.
• Настройте разумные лимиты для поведенческого анализа.
• Проверьте доступность robots.txt и sitemap.xml.
• Регулярно анализируйте логи сервера на наличие блокировок легитимных ботов.
• Используйте инструменты Google для проверки доступности сайта.

Заключение

Настройка WAF для защиты WordPress — это баланс между безопасностью и доступностью. Ошибки в конфигурации могут привести к блокировке Googlebot, что негативно скажется на индексации сайта. Следуя приведенным выше рекомендациям и регулярно проверяя настройки, вы сможете избежать подобных проблем и обеспечить стабильную работу вашего сайта.

Если вам нужна помощь в настройке WAF для WordPress, вы можете ознакомиться с услугами или записаться на консультацию.