How to backup a huge website?

Question

Backup

Hello everybody!
I already understood how to protect the site, now the question is about backups.
There is a site where people upload photos, videos, audio materials. Now it has about 1TB of data, every day there are more and more of them, and I just can’t imagine how to backup this thing.

The OS used is Ubuntu 14.04 Server. Disks of 2 TB. I have a 4 TB hard drive at home with Ubuntu installed, is there any way to automatically backup to this hard drive? In order not to backup the entire site, but only those files that are not on the disk.

Answer 1

rsync вам в помощь.

Answer 2

да любой софт для бекапа это делает , выбери просто то чем вам удобно пользоваться

Answer 3

Acronis вполне справится с этим.

Answer 4

Можно пути файлов именовать в виде год/месяц/день/файл. Тогда можно бакапить только за нужный период. Используйте rsync как сказали выше. Однако если у вас уже 1 ТБ и данные быстро растут возможно стоит подумать о переезде в какое-нибудь облачное хранилище наподобие S3.

Answer 5

Советую MRB manpages.ubuntu.com/manpages/trusty/man8/mrb.8.html
А также прочие утилиты инкрементального бекапа. Все они используют рсинк, но позволяют меньше писать скриптов.

Answer 6

для этого есть множество решений, от кластеризации до банального rsync, можно даже на zip tar сделать инкремент, можно извратитья csync2, вариантов милион. Как миниму отключити компрессию при архивации.
И контроль целостности.
Могу порекомендовать в купе к этому
find /путь до сайта/-type f -regex ".*\(jpg\|jpeg\)" -exec jpegoptim --max=85 {} \;
сжимает без потери в 3 раза, все полегче станет.
ставится через апт

Answer 7

rsync - для зеркала,
attic - для бэкапов методом дедупликации