Использование DigitalOcean Spaces или Amazon S3 для хранения файлов в XF 2.1 & XF 2.2 2.4.0

[Sadorimatsu]

artscripts, а у вас при удалении с XF, файлы с облако так же удаляются? Вы проверяли? Просто есть у меня подозрение, почему у меня не удаляется. Вы какие роли прописывали в сервисом аккаунте? Я прописал только editor и на всякий случай admin т.к. толком нет понимания, какие роли прописывать. Подозреваю, что это влияет. Что думаете?
Пробовал настраивать ACL бакета, тоже толку никакого.

Можно не отвечать, Крис подтвердил на офе, что удаляется спустя некоторое время:

They are deleted by cron job. For attachments you have just uploaded and deleted the files will remain on the server for up to 24 hours. For older attachments you have just deleted the files will remain on the server for up to 1 hour.

Лично подтвердил, так и есть. Так что с уверенностью можно сказать, что работает всё отлично. Но мне покоя не дает разница между путями
Так же на офе говорят, что data должен быть в любом плане публичным, а вот internal_data личным. Я не до конца понял как это сделать на яндексе. Есть соображения где? Да и пишут, что это необязательно, но всё же. Единственное, что настраивается доступ, это в политике доступа.
Настройки ACL можно даже не смотреть, он как понял применяется между несколько юзерами по доступу к этому бакету, может ошибаюсь, поправьте.

 

[Sadorimatsu]

Возник вопрос. Если есть необходимость отвязать S3 и вернуть файлы на VPS. Как правильно это сделать?
Я например воспользовался тем же принципом, что и копировал на S3.
На CentOS 7 это выглядит так:
Вход в каталог:
cd /web-w/Projects/web/домен/public_html/data/
Копировать с VPS на S3:
s3cmd put * s3://бакет/data/ --recursive
Я решил использовать обратный принцип на копирование с S3 на VPS.
Вход в каталог:
cd /web-w/Projects/web/домен/public_html/data/
Копировать с S3 на VPS:
s3cmd get s3://бакет/data/ --recursive --skip-existing
В команду копирование я добавляю --skip-existing, чтобы он пропускал похожие файлы. Возможно моя команда не совсем верная. Потому что, если я её не укажу, то мне ниже будет выводит такой лог и копирование приостанавливается:

WARNING: Empty object name on S3 found, ignoring.
WARNING: Retrying failed request: /internal_data/attachments/4/4099-b7ea3a3c19e0c1c15163ec3c46d62398.data ('')
WARNING: Waiting 3 sec...
ERROR: Parameter problem: File './addon_batch/169/EWR-Backup.zip' already exists. Use either of --force / --continue / --skip-existing or give it a new name.

Файлы в принципе копируются, если дописываю --skip-existing, но подозреваю, что упускаю что-то.
Есть подозрения, что я что-то не правильно делаю.

Будут какие мысли?

 

[CrazyHackGUT]

Sadorimatsu, можно смонтировать S3-хранилище как обычный сетевой диск в ОС, и сделать тупо cp -Rf /mnt/s3/internal_data/* /path/to/xf/internal_data

 

[Sadorimatsu]

Sadorimatsu, можно смонтировать S3-хранилище как обычный сетевой диск в ОС, и сделать тупо cp -Rf /mnt/s3/internal_data/* /path/to/xf/internal_data

Можно по подробней как их смонтировать? В принципе после этого их можно загрузить напрямую на VPS и по указанным командам просто распаковать? Или как?

Команда s3cmd get s3://бакет/data/ --recursive --skip-existing и s3cmd get s3://бакет/internal_data/ --recursive --skip-existing работают не хуже, как окончательно убедился. Проблем после не заметил. До их использовании не забываем зайти в каталог.

 

[Sadorimatsu]

Обратил внимание, что при загрузке, в папке internal_data создается автоматически папка image_cache, чтобы вроде быть не должно, хоть её и удаляешь, она сама после создается. Тем самым при загрузке у меня некоторые атачи помечаются, как "несвязанные" и самоудаляются, что из-за этого приходится перезагружать их. Может ли влиять на это созданная папка кеша на s3? И можно ли это пресечь? Никто не сталкивался с подобным?
artscripts, у вас подобного не бывало? Может вы какие-нибудь дополнительные настройки проводили?

 

[DreamTails]

папка image_cache

Там хранятся проксированные картинки. Если не нравится размер - уменьшите срок жизни кэша изображений

 

[Sadorimatsu]

Там хранятся проксированные картинки. Если не нравится размер - уменьшите срок жизни кэша изображений

Я вас понял, благодарю. Но разве нормально, что они сохраняются в облаке?

По моей проблеме по "несвязанным" аттачам это явно не относится и S3 тут не при чем, однако выяснил, что источником проблемы по несвязанным аттачам стал этот плагин

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

кто будет применять, будьте осторожны. Наглядный тест бага, загрузили картинки, сохранили, все в норме, редактируем ресурс и можете без изменений сохранить, картинки сразу же пропадут. Так что будьте аккуратны.

 

[CrazyHackGUT]

Но разве нормально, что они сохраняются в облаке?

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[artscripts]

Sadorimatsu, Мне сейчас сложно вам ответить, так как нету на данный момент доступа к облаку где все лежит. Я лишь знаю одно что все папки кешей я оставлял на сервере, и на облако их не заводил. Если я правильно понял ваш вопрос. То есть я на облако папки кешей не переносил

 

[Sadorimatsu]

Вот это хорошая новость, после обновления на XF 2.3:

Спойлер

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[willpellk]

Товарищи а можно ли реализовать загрузку\хранение файлов на другом VPS? Форум на первом впс а все прикрепляемые файлы будут на втором впс...?

 

[sancak]

Товарищи а можно ли реализовать загрузку\хранение файлов на другом VPS? Форум на первом впс а все прикрепляемые файлы будут на втором впс...?

тоже вопрос. возможно ли реализовать форум на обычном веб-хостинге, а все ресурсы на стороннем диске (вдс)? Если да, то как сильно это повлияет на скорость работы сайта?

 

[-OZ-]

Товарищи а можно ли реализовать загрузку\хранение файлов на другом VPS? Форум на первом впс а все прикрепляемые файлы будут на втором впс...?

Можно, но если вы задаёте этот вопрос, вам будет тяжело это сделать самостоятельно. Лучше воспользуйтесь S3 - выйдет проще и дешевле чем отдельный vps.

 

[West14]

Товарищи а можно ли реализовать загрузку\хранение файлов на другом VPS? Форум на первом впс а все прикрепляемые файлы будут на втором впс...?

можно, есть варианты

обычном веб-хостинге

в этом случае, вариантов уже поменьше
что первое в голову приходит - на второй впс можно поднять свой с3 сервак и прицепить его к ксену

 

[CrazyHackGUT]

S3 можно быстро поднять на VPS/VDS/дедике через Minio, если что.

 

[sancak]

спасибо. погуглю, почитаю, попробую) и бэкапну на всякий случай 

но другой вопрос, если вдруг вдс упадёт (тех.работы у хостера, как пример) .. форум полетит за ним?

 

[CrazyHackGUT]

sancak, если у вас будет один сервер с Minio - да. Можно из нескольких собрать кластер, и тогда будет реализована некая отказоустойчивость, главное чтобы форум (и пользователи) ходили в всегда живой (можно намутить что-то типа нескольких А-записей для этого).

 

[It Works]

тоже вопрос. возможно ли реализовать форум на обычном веб-хостинге, а все ресурсы на стороннем диске (вдс)? Если да, то как сильно это повлияет на скорость работы сайта?

Можно,делал когда то
Потом вот так и вышло

Лучше воспользуйтесь S3 - выйдет проще и дешевле чем отдельный vps.

по этому перестал пользоваться.У меня не получилось найти нормального VPS чтобы по стоимости и емкости были значительно дешевле s3 хранилища.По этому отказался

если вдруг вдс упадёт (тех.работы у хостера, как пример) .. форум полетит за ним?

Форум работает.Просто не доступны вложения к скачиванию и загрузке.При попытке скачать или загрузить будет ошибка

 

[Sadorimatsu]

по этому перестал пользоваться.У меня не получилось найти нормального VPS чтобы по стоимости и емкости были значительно дешевле s3 хранилища.По этому отказался

VPS/VDS со всеми удобствами для хранилища вряд ли вообще где найдёте, тем более по вменяемой цене. Применение S3 в этом вопросе позволяет дешевле взять аренду самого VPS/VDS делая уклон на производительность, а не его объём, однако, если S3 ресурс не окупает, то конечно и выгоды не будет. Дешевле будет поднять свой сервер, что я считаю верным, если ресурсы выходит за рамки бюджета. Использование VPS/VDS+S3, я считаю для старта проекта оправданным и удобным решением, если у вас приоритет загрузка объёмных файлов, а по мере роста и необходимостью расширения, создание своего локального сервера станет вашей приоритетной задачей, однако, если загрузка файлов незначительно, то и переживать не о чем, а у кого задачи ещё проще, то хватит и виртуального хостинга или VPS. Всё зависит от ваших задач прежде всего, но как правило, исход тут только один, если ваша тематика подразумевает огромную базу.

 

[It Works]

VPS/VDS со всеми удобствами для хранилища вряд ли вообще где найдёте, тем более по вменяемой цене.

У меня так вышло что пока вложения вписывались в 250гБ, то было целесообразней брать vps,просто постепенно повышая тариф
После 250гБ тариф у хостера резко взлетал, и по этому перешел на s3 хранилище
Сейчас s3 можно 100гБ взять за 349р/мес.Дешевле сервера с такой емкостью диска я не нашел.

Использование VPS/VDS+S3, я считаю для старта проекта оправданным и удобным решение, по мере роста и необходимостью расширения, создание своего локального сервера станет вашей приоритетной задачей, однако, если загрузка файлов незначительно, то и переживать не о чем. Всё зависит от ваших задачи прежде всего, но как правило, исход тут только один, если ваша тематика подразумевает огромную базу.

Согласен
Каждый случай индивидуален