Убирай сайт с VPS, и вообще с сервера, да и в другой ДЦ, да еще лучше в другую страну, и под проксирование все.
Ну а если не хотите растрат, то просто запроксируй сайт под CDN какой нить. Можно тот же Cloudflare с выставлением кеша на 30д. И на счет апача правильно сказали, не юзай его, и вообще удали, ну или на крайний юзать связку апач + nginx если без него вообще не как.
Загрузка сайта идет "всплесками" с сервером игровым все иначе, тут грузит постоянно, загрузил игровой сервер проц на 90% и тут заходит юзер и открывает кучу вкладок с огромными скриптами на сайте и надо ему 50% проца, а есть ток 10%, и вот тут то тоже начнутся лаги.