Облачные хранилища для форума

[MrFallen]

Ребят, помогите выбрать облачное хранилище для форума. Интересуют S3 совместимые хранилища. Если кто пользовался, Selectel или Amazon S3, расскажите о своём опыте. Что используете и на чем остановились?

 

[john_j]

Краткая версия
- Хочу S3-хранилку
- Вот тебе ftp

А вот интересно, в чем преимущество S3 хранилища от FTP ?

Для хостера, особенно крупного понятно, удобнее оперировать объектами. А для пользователя?
Если рассматривать на уровне протокола, то в обоих вариантах команды для пользователя проходят прозрачно. Многие даже не знают о них, и не вникают в их существование. Что касается самого хранилища, то для пользователя остается только возможность масштабирования и шифрование. Шифрование по идее может замедлить обмен, да и просто не нужно многим, так-же как и масштабирование в больших объемах.
Не понятно, почему пользователи хотят именно S3.

MrFallen, объясни почему тебе нужно S3

 

[Smalesh]

А вот интересно, в чем преимущество S3 хранилища от FTP ?

FTP:
1. древний однопоточный протокол без средств контроля целостности файлов
2. 99% типичных хостингов (за исключением специализированных ftp-хостингов) не заточены на работу ftp
Зато дешево.

Не понятно, почему пользователи хотят именно S3

Потому что оно им и нафиг не нужно, зато модно.

 

[john_j]

1. древний однопоточный протокол без средств контроля целостности файлов

По скорости протоколов, согласен, может S3 будет немного выигрывать, но это если XF поддерживает многопоточность. А как там у него с этим, не знаю. По идее скорость скачивания вложений/ресурсов для форумов далеко не критична и канала в 1000 Mbit который предлагают многие FTP-хостеры вполне хватает.

Кстати, в XF есть некоторые проблемы с FTP хранилищем, но они возможно будут и на S3, просто не проверял. Пока поставил "костыли". Не особо занимаюсь тем форумом где внешнее хранилище. Все не дойдут руки взять тестовый аккаунт на яндексе и сравнить.

 

[CrazyHackGUT]

Кстати, в XF есть некоторые проблемы с FTP хранилищем

Так озвучьте.

 

[Smalesh]

но это если XF поддерживает многопоточность

Давай начнем с того, что для того чтобы более-менее нормально работать с S3 (с HEAD и прочим) нужен полноценный плагин, а не просто абстракция поверх FS. Но даже на этом уровне, который есть, если 50 человек единовременно тянут/зальют по десятку разных аттачей - я их отдам и быстро. Но дорого. Дороже, чем классический raid или чего-то там over fuse.

По идее скорость скачивания вложений/ресурсов для форумов далеко не критична и канала в 1000 Mbit который предлагают многие FTP-хостеры вполне хватает.

Угу. Забекапь по ftp 100500 файлов с общим весом в несколько гиг при типичных для хостеров нескольких потоках с одного ip.

 

[MrFallen]

php_value upload_max_filesize 1000M
php_value post_max_size 1000M
php_value max_input_time 600
php_value max_execution_time 600

Значения, которые установил провайдер:
php_value upload_max_filesize 5000M
php_value post_max_size 5000M
php_value max_input_time -1
php_value max_execution_time 800

Для того, что-бы исключить влияние внешнего хранилища, переключить на внутреннее, и попробовать закачать в него.

Во внутреннее грузится без проблем. Внешнее сейчас подключил обратно и попытался загрузить вложение в обычное сообщение, и я получил следующую ошибку:

ErrorException: [E_WARNING] ftp_fput(): Opening BINARY mode data connection for attachments/0/352-bb8b19ae7221c7337b38cbb402c5e321.data in src/vendor/league/flysystem/src/Adapter/Ftp.php at line 267
XF::handlePhpError()
ftp_fput() in src/vendor/league/flysystem/src/Adapter/Ftp.php at line 267
League\Flysystem\Adapter\Ftp->writeStream() in src/vendor/league/flysystem/src/Filesystem.php at line 122
League\Flysystem\Filesystem->putStream()
call_user_func_array() in src/vendor/league/flysystem-eventable-filesystem/src/EventableFilesystem.php at line 431
League\Flysystem\EventableFilesystem\EventableFilesystem->callFilesystemMethod() in src/vendor/league/flysystem-eventable-filesystem/src/EventableFilesystem.php at line 395
League\Flysystem\EventableFilesystem\EventableFilesystem->delegateMethodCall() in src/vendor/league/flysystem-eventable-filesystem/src/EventableFilesystem.php at line 71
League\Flysystem\EventableFilesystem\EventableFilesystem->putStream() in src/vendor/league/flysystem/src/MountManager.php at line 615
League\Flysystem\MountManager->putStream() in src/XF/Util/File.php at line 185
XF\Util\File::copyFileToAbstractedPath() in src/XF/Service/Attachment/Preparer.php at line 67
XF\Service\Attachment\Preparer->insertDataFromFile() in src/XF/Service/Attachment/Preparer.php at line 27
XF\Service\Attachment\Preparer->insertAttachment() in src/XF/Attachment/Manipulator.php at line 170
XF\Attachment\Manipulator->insertAttachmentFromUpload() in src/XF/Pub/Controller/Attachment.php at line 89
XF\Pub\Controller\Attachment->actionUpload() in src/XF/Mvc/Dispatcher.php at line 350
XF\Mvc\Dispatcher->dispatchClass() in src/XF/Mvc/Dispatcher.php at line 261
XF\Mvc\Dispatcher->dispatchFromMatch() in src/XF/Mvc/Dispatcher.php at line 113
XF\Mvc\Dispatcher->dispatchLoop() in src/XF/Mvc/Dispatcher.php at line 55
XF\Mvc\Dispatcher->run() in src/XF/App.php at line 2298
XF\App->run() in src/XF.php at line 459
XF::runApp() in index.php at line 20

вы в штыки воспринимаете все советы товарища @Smalesh

Если я не хочу получать помощь от этого товарища, я же могу её не получать или это принудительно?

Предоставьте серверные логи.

Знал бы я ещё где они находятся у Timeweb :(

@Smalesh, 90% всех проблем - прокладка между стулом и компьютером

А ты так и дальше будешь подп*здывать не по делу?

@MrFallen, объясни почему тебе нужно S3

Я толком не разбирался, но просто вижу все нахваливают технологию, но сколько бы дней я не пыхтел, у меня так и не получилось заставить работать XenForo с Selectel и драйвером S3.

 

[DreamTails]

MrFallen, успокойся, если ты не можешь выполнить простые указания, которые дает Smalesh , то я не знаю что с тобой не так

 

[CrazyHackGUT]

сколько бы дней я не пыхтел, у меня так и не получилось заставить работать XenForo с Selectel и драйвером S3

Так может стоило написать о проблеме здесь? Вместе с ошибкой?

 

[Matew]

Если я не хочу получать помощь от этого товарища, я же могу её не получать или это принудительно?

Добавьте его в игнор и дело с концом. Никто не будет запрещать кому-то здесь отвечать.

 

[Smalesh]

Добавьте его в игнор и дело с концом. Никто не будет запрещать кому-то здесь отвечать.

Хочу игнор наоборот - добавил пользователя в игнор, и он не видит твоих сообщений.

 

[CrazyHackGUT]

Ну тут только дополнение заказывать, ящетаю. И в другой раздел.

 

[Skaiman]

Хочу игнор наоборот - добавил пользователя в игнор, и он не видит твоих сообщений.

он их и так не видит

 

[john_j]

Угу. Забекапь по ftp 100500 файлов с общим весом в несколько гиг при типичных для хостеров нескольких потоках с одного ip.

Не проблема для тех кто в теме.
На джино я просто подключал SSH в конструкторе на один день, заливал архивы с файлами, и разворачивал их уже на хостинге.
После разворачивания архивов SSH отключал.

После запуска сайта, уже идет инкрементный бэкап. Его можно и пофайлово делать.
Но при желании, можно опять таки подключить SSH, сжать файлы на хостинге, и скачать одним файлом.

 

[CrazyHackGUT]

SSH

- не FTP. Давайте не применять "тёмную магию" в рамках шареда, и использовать именно предложенный FTP?

Этот пример был сделан не с проста.

 

[john_j]

- не FTP. Давайте не применять "тёмную магию" в рамках шареда

Так на многих шаредах дают ssh. Тот-же бюджетный джино.
Ну нет у меня почему-то проблем с ftp )
Год назад перенес, настроил, проверил, оплатил за два года, и забыл потому как сайт с форумом это просто сателлит основного бизнеса. Все работает по сей день.

Одно из неудобств внешнего хранилища на джино - медленные соединения.
То есть, при большом количестве вложений картинок в теме, ftp адаптер xf похоже не успевает и отваливается по таймауту. Некоторые картинки могут не отобразиться. Когда например порядка 100 картинок в теме.
Решил проблему прикрутив lazyload. Наверно можно было покрутить настройки, но просто лень было.
Собираюсь заняться сайтом и может разберусь детально.

 

[Smalesh]

Так на многих шаредах дают ssh.

в чем преимущество S3 хранилища от FTP ?

Где здесь слово ssh?

 

[john_j]

Где здесь слово ssh?

Речь шла о том, что через ftp сложно забэкапить 100500 файлов.
Эта проблема решается с помощью ssh

 

[Smalesh]

Эта проблема решается с помощью ssh

Причем тут ssh?

 

[john_j]

С помощью ssh создаем архив на удаленном хранилище, вытягиваем бэкап одним файлом.
100500 файлов влетают со скоростью канала.

 

[Smalesh]

С помощью ssh создаем архив на удаленном хранилище, вытягиваем бэкап одним файлом.
100500 файлов влетают со скоростью канала.

Неа, они влетят на скорости одного потока, так как один файл. А я беру rsync и утилизирую канал на полную, получаю инкременты, целостность файлов и прочие плюшки. Но у тебя нет в задаче ssh. У тебя есть ftp.