How to solve the heavy load of WordPress search bots? Weak hosting?

Question

Highload

Сайт на WordPress 4.6 c всего около 500 униками в день. До 10 плагинов по делу. Так же WP Super Cache включен.
По Google PageSpeed Insights время ответа сервера - 1.3 секунды, иногда меньше. Причина в WordPress или в хостинге?
Судя по логам, сайт очень активно сканируется поисковыми ботами (в основном Гуглом), притом заходы с ключевыми запросами после ? в адресе (сканируется, возможно, ибо активно через AdWords лью траффик по многим ключевикам). Для бота с разными запросами, как понимаю, плагин кеширования не особо помагает, или как? И из-за этого и сервер так долго ответ дает?

Answer 1

WP очень медленный. Прочитайте https://habrahabr.ru/post/132817/ а вообще давно уже переезжать на php 7.0 - 7.1

Answer 2

Я прибил у себя ботов(в разы снизил нагрузку) так: в .htaccess
#kill bots
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} python-requests
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} ltx71
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru
RewriteRule (.*) - [F,L]
Если вас заваливают яндекс и гугл, то однозначно по рецепту VVB копать с профайлером. Если переедете на VPS, то через команду top будет понятно у вас перегруз по запросам к БД или слишком много одновременных заходов.

Answer 3

1) Посмотрите WP профайлером ваши узкие места. Вероятно какойто плагин не дает нормально работать системе.
2) Для того чтобы убедитсья что проблема не с хостером а с WP, залейте статическую страницу на хостинг и проверьте ее PageSpeed Insight. Так вы исключите WP из проверки и поймете где проблема
3) Если акстивно карулится ботами, используйте Crawl-delay: в файле robots.txt
4) WP хорошо кеширует статику, с магазинами все сложнее. Если сайт обычный статейник, то не должно возникать вопросов.
Как вариант обратите внимание включены ли у вас в htaccess или nginx.conf настройки :
-leverage brower caching
-gzip (deflate)
-правильно ли оптимизированы изображения(рекомендую tinypng для jpg и png файлов)
5) Ну и как вариант попробуйте на время отключить плагины для того чтобы определить тонкие места