Автоматический бэкап с дедика на localhost (?)

[Rolzzandik]

Возникла необходимость в автоматических бэкапах форума на локальную машину(домашний сервер).
Посоветуйте, как правильно реализовать систему бэкапов?

Дедик на дебе 11. Никаких доп панелей не стоит (типо весты, фастпанели и т.п)
Локальная машина на дебе 10 + находится за провайдерским натом(но есть возможность объединить в одну сеть, с помощью, например, впна (привет вайргуард))

Сейчас в голове что-то подобное:
1. На дедике делается архив форума
2. Делается мускул дамп
3. .sql и .tar.gz всовываются в один архив
4. Локалхост по крону забирает файл через rsync
Но с этой схемой возникает вопрос, как "ждать" файл, если, например, дедик до сих пор не запаковал весь дамп?

**
Так же вопрос по бекапу мускула и форума
Как правильно бэкапить, чтобы ничего не было повреждено и при этом форумом можно было пользоваться
Имеется ввиду, что в некотором случае если пользователь загрузит вложение, то информация о нем будет в бд, а бэкап форума делался раньше, то файл останется только в бд. Как еще это побороть?

Если что-то не договорил - уточните, что от меня требуется, а то я не особо в этой теме образованный

 

[hvostik]

Никаких доп панелей не стоит (типо весты, фастпанели и т.п)

Советую поставить, сайтом можно управлять гораздо легче.
На счет дампа - можно вписать определенный код, но он будет дампать в корень форума, откуда вам придется выкачивать вручную.

 

[Rolzzandik]

Советую поставить, сайтом можно управлять гораздо легче.

А что мне им управлять?
Я его настроил и он работает. Не вижу смысла, если честно

На счет дампа - можно вписать определенный код, но он будет дампать в корень форума, откуда вам придется выкачивать вручную.

Да это понятно
простой баш скрипт, который делает архив - это не проблема. Меня больше интересует, как это на локальную тачку перекинуть

 

[Matew]

Локалхост по крону забирает файл через rsync

А разве в этой схеме не сервер должен отправлять бэкап на локалхост? В одном скрипте
В случае же если сторонний сервер что-то забирает по крону, он должен забирать уже готовое. Если архив пишется на ходу, то сначала во временную папку, а потом кидать уже в ту, где лежат готовые архивы

 

[Rolzzandik]

А разве в этой схеме не сервер должен отправлять бэкап на локалхост? В одном скрипте

Справедливо емае
Однако для этого придется поднимать в любом случае впнку. Другого решения проблемы в голову не пришло?

(дополнил первое сообщение)
Так же вопрос по бекапу мускула и форума
Как правильно бэкапить, чтобы ничего не было повреждено и при этом форумом можно было пользоваться
Имеется ввиду, что в некотором случае если пользователь загрузит вложение, то информация о нем будет в бд, а бэкап форума делался раньше, то файл останется только в бд. Как еще это побороть?

 

[hvostik]

Как еще это побороть?

Ну, вообще если это изображение - то оно будет битым и все. Разве не так?

 

[Rolzzandik]

Ну, вообще если это изображение - то оно будет битым и все. Разве не так?

Да, но "и все" меня не особо устраивает

 

[hvostik]

Да, но "и все" меня не особо устраивает

Как вариант, приобрести хостинг который будет автоматически делать бекапы ночью, когда особого актива на форуме не будет. Правда, будет некоторая переплата, но, куда безопаснее по бекапам, которые вы сможете выкачать в любое время за любое число.

 

[inz]

Как вариант, приобрести хостинг который будет автоматически делать бекапы ночью, когда особого актива на форуме не будет.

Автоматический бэкап с дедика на localhost (?)

 

[hvostik]

inz, Я ответил на счет бекапа Бд и форума в разное время.

 

[Rolzzandik]

Как вариант, приобрести хостинг который будет автоматически делать бекапы ночью, когда особого актива на форуме не будет.

Не понял, что ты имеешь ввиду

Которые вы сможете выкачать в любое время за любое число.

Что?
а с локалки я так не смогу сделать?

 

[Matew]

Другого решения проблемы в голову не пришло?

В смысле не пришло? Я же вам написал, пусть локалка скачивает только готовый архив, и все будет нормально. Запаковали во временной папке, потом перенесли цельный архив.

Как еще это побороть?

Никак. Просто примите как данность, что при восстановлении бэкапа мизерная часть данных может зафакапиться из-за рассинхрона. Но вообще вряд-ли такое будет, бэкап папок и базы делается не так долго

Не понял, что ты имеешь ввиду

У пользователя сложности с выражением своих мыслей в одном сообщении, ровно как и с чтением сообщений других. Ему одно, он другое

 

[Smalesh]

Решение состоит с двух частей.
1.На VDS скрипт бекапит в определенную диру, пилит готовые архивы по крону под отдельным пользователем.
2.Второй скрипт на локалхосте, по крону + пару часов запускает rsync с авторизацией по паролю/ключам и затягивает бекапы на локалхост.
Вот и все, это рабочее и правильное решение (в случае компрометации vds до бекапов какир не добирается).

Как правильно бэкапить, чтобы ничего не было повреждено и при этом форумом можно было пользоваться

1. Закрываем форум через cli
2. rsync в локальную служебную диру с ключом --delete
3. mysqldump ->gzip
4. открываем форум

Дальше на локалхосте, удаленно по rsync сливаем файло со служебной диры, заворачиваем в дельту для инкремента или сразу в архив, дамп базы аналогично, с поддержкой версионности. Служебную диру не чистим, она остается на следующий бекап.

Это если надо быстро и красиво, но база небольшая, на простой в несколько минут кладем большой и толстый. По сути открыть-закрыть форум и то, лишнее.

Вариант быстро и без остановки - это поднять реплику мастер-слейв на mysql, файло сгоняем rsync на лету (суточная дельта небольшая), дампим базу со слейва.

 

[someone24]

По поводу бэкапов, да на голом сервере без панелей

1) бэкап базы
тут лучшее решение , особенно для больших баз - xtrabackup (для перконы) или аналогичный mariabackup для марии

Эти тулзы умеют делать полный и инкрементальный бэкап сравнительно быстро (много быстрее mysqldump) и без глюков форума во время процесса дампа из за локов таблиц. Почитать как это делается можно например тут

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

2) бэкап файлов форума, дампы баз от xtrabackup, файлов системных настроек лучше организовать каким-то продвинутым инструментом, не писать свои скрипты (не изобретать велосипеды)

Рекомендую посмотреть на

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

+ фронтенд скрипт

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

(последний сильно облегчает работу с системой бэкапов на основе готовых конфигов бэкапирования с ключами шифрования, настройками количества копий, мест хранения и тд)

Такие инструменты обеспечат вам и нормальный процесс архивирования, контроля, заливки, с разбивкой на куски, и много другое.
Например там несложно реализуется аплоад хоть на свой соседний сервер рсинком через ссх, или фтп, хоть на облако (поддерживается почти все типы облаков, а что не поддерживается, можно лить через rclone бэкенд, там поддержка типов хранилищ еще больше.

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

, а еще есть мульти-заливка, когда ваш архив дублируется сразу на несколько хранилищ, можно разных)

От вас потребуется только разобраться в конфигурации тулзов и сделать несложые скрипты вызова того же xtrabackup перед архивированием.