Использование DigitalOcean Spaces или Amazon S3 для хранения файлов в XF 2.x 2.2.1

[Sadorimatsu]

artscripts, а у вас при удалении с XF, файлы с облако так же удаляются? Вы проверяли? Просто есть у меня подозрение, почему у меня не удаляется. Вы какие роли прописывали в сервисом аккаунте? Я прописал только editor и на всякий случай admin т.к. толком нет понимания, какие роли прописывать. Подозреваю, что это влияет. Что думаете?
Пробовал настраивать ACL бакета, тоже толку никакого.

Можно не отвечать, Крис подтвердил на офе, что удаляется спустя некоторое время:

They are deleted by cron job. For attachments you have just uploaded and deleted the files will remain on the server for up to 24 hours. For older attachments you have just deleted the files will remain on the server for up to 1 hour.

Лично подтвердил, так и есть. Так что с уверенностью можно сказать, что работает всё отлично. Но мне покоя не дает разница между путями
Так же на офе говорят, что data должен быть в любом плане публичным, а вот internal_data личным. Я не до конца понял как это сделать на яндексе. Есть соображения где? Да и пишут, что это необязательно, но всё же. Единственное, что настраивается доступ, это в политике доступа.
Настройки ACL можно даже не смотреть, он как понял применяется между несколько юзерами по доступу к этому бакету, может ошибаюсь, поправьте.

 

[Sadorimatsu]

Возник вопрос. Если есть необходимость отвязать S3 и вернуть файлы на VPS. Как правильно это сделать?
Я например воспользовался тем же принципом, что и копировал на S3.
На CentOS 7 это выглядит так:
Вход в каталог:
cd /web-w/Projects/web/домен/public_html/data/
Копировать с VPS на S3:
s3cmd put * s3://бакет/data/ --recursive
Я решил использовать обратный принцип на копирование с S3 на VPS.
Вход в каталог:
cd /web-w/Projects/web/домен/public_html/data/
Копировать с S3 на VPS:
s3cmd get s3://бакет/data/ --recursive --skip-existing
В команду копирование я добавляю --skip-existing, чтобы он пропускал похожие файлы. Возможно моя команда не совсем верная. Потому что, если я её не укажу, то мне ниже будет выводит такой лог и копирование приостанавливается:

WARNING: Empty object name on S3 found, ignoring.
WARNING: Retrying failed request: /internal_data/attachments/4/4099-b7ea3a3c19e0c1c15163ec3c46d62398.data ('')
WARNING: Waiting 3 sec...
ERROR: Parameter problem: File './addon_batch/169/EWR-Backup.zip' already exists. Use either of --force / --continue / --skip-existing or give it a new name.

Файлы в принципе копируются, если дописываю --skip-existing, но подозреваю, что упускаю что-то.
Есть подозрения, что я что-то не правильно делаю.

Будут какие мысли?

 

[CrazyHackGUT]

Sadorimatsu, можно смонтировать S3-хранилище как обычный сетевой диск в ОС, и сделать тупо cp -Rf /mnt/s3/internal_data/* /path/to/xf/internal_data

 

[Sadorimatsu]

Sadorimatsu, можно смонтировать S3-хранилище как обычный сетевой диск в ОС, и сделать тупо cp -Rf /mnt/s3/internal_data/* /path/to/xf/internal_data

Можно по подробней как их смонтировать? В принципе после этого их можно загрузить напрямую на VPS и по указанным командам просто распаковать? Или как?

Команда s3cmd get s3://бакет/data/ --recursive --skip-existing и s3cmd get s3://бакет/internal_data/ --recursive --skip-existing работают не хуже, как окончательно убедился. Проблем после не заметил. До их использовании не забываем зайти в каталог.

 

[Sadorimatsu]

Обратил внимание, что при загрузке, в папке internal_data создается автоматически папка image_cache, чтобы вроде быть не должно, хоть её и удаляешь, она сама после создается. Тем самым при загрузке у меня некоторые атачи помечаются, как "несвязанные" и самоудаляются, что из-за этого приходится перезагружать их. Может ли влиять на это созданная папка кеша на s3? И можно ли это пресечь? Никто не сталкивался с подобным?
artscripts, у вас подобного не бывало? Может вы какие-нибудь дополнительные настройки проводили?

 

[DreamTails]

папка image_cache

Там хранятся проксированные картинки. Если не нравится размер - уменьшите срок жизни кэша изображений

 

[Sadorimatsu]

Там хранятся проксированные картинки. Если не нравится размер - уменьшите срок жизни кэша изображений

Я вас понял, благодарю. Но разве нормально, что они сохраняются в облаке?

По моей проблеме по "несвязанным" аттачам это явно не относится и S3 тут не при чем, однако выяснил, что источником проблемы по несвязанным аттачам стал этот плагин

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

кто будет применять, будьте осторожны. Наглядный тест бага, загрузили картинки, сохранили, все в норме, редактируем ресурс и можете без изменений сохранить, картинки сразу же пропадут. Так что будьте аккуратны.

 

[CrazyHackGUT]

Но разве нормально, что они сохраняются в облаке?

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[artscripts]

Sadorimatsu, Мне сейчас сложно вам ответить, так как нету на данный момент доступа к облаку где все лежит. Я лишь знаю одно что все папки кешей я оставлял на сервере, и на облако их не заводил. Если я правильно понял ваш вопрос. То есть я на облако папки кешей не переносил

 

[Sadorimatsu]

Вот это хорошая новость, после обновления на XF 2.3:

Спойлер

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация