XF 2.2 Стоит ли использовать Amazon S3 для хранения фотографий?

[Senya]

Добрый день,

планирую размещать на форуме большое количество фотографий (с прицелом на будущее), и задумался о хранении фотографий с помощью Amazon S3.
Вот тут как раз хорошая инструкция как это можно сделать
Ну и собственно сам вопрос, - кто-нибудь уже делал у себя на форуме такое? Стоит ли связываться, и какие во всём этом минусы?

Пока для себя вижу один минус, что URL картинки будет вида типа "

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

", что не очень хорошо для SEO на мой взгляд. Да и когда пользователи например ищут картинки через поиска в Гугле, там тоже как я понимаю, будет фигурировать этот URL, вместо URL'a моего сайта.

Буду рад услышать мнения форумчан. Спасибо.

 

[Skaiman]

Вот тут как раз хорошая инструкция как это можно сделать

ну так там и вопрос

 

[Smalesh]

для SEO

В жопу сео, за чей счет банкет?

 

[john_j]

там тоже как я понимаю, будет фигурировать этот URL, вместо URL'a моего сайта.

URL картинок в сообщениях не зависит от внутреннего или внешнего места хранения файлов. Будет такой-же как и на внутреннем.
Нечто типа: https://ваш_сайт/attachments/1111111/ либо https://ваш_сайт/attachments/картинка-jpeg.1111111/
Как настроите.

Можете смело там хранить, на SEO вообще никак не повлияет.

 

[Senya]

john_j, спасибо большое за Ваш ответ. Это вселяет надежду. Меня смутило то, что в инструкции по настройке Amazon S3 есть такой код:

$config['externalDataUrl'] = function($externalPath, $canonical)
{
   return 'https://xftest.s3.us-east-1.amazonaws.com/data/' . $externalPath;
};

И в нём вот эта строка: "

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

"
Поэтому я и подумал, что ссылка на фотографии будет выглядеть типа:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[john_j]

Поэтому я и подумал, что ссылка на фотографии будет выглядеть типа:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

По идее, там миниатюры и аватары должны быть. URL этих файлов в XF отображаются "напрямую", как физические файлы.
А вот URL для вложений/картинок, формируются и отображаются как контент, с соответствующей групповой политикой доступа.

Лучше подождите пока гуру ответят.
У меня по XF опыта пока мало.

 

[Senya]

john_j, спасибо! Будем подождать ?

 

[Smalesh]

подождать

А поиск юзать никак? Во-первых, открывать амазоновский s3 наружу могут либо отчаянные, либо богатые. Во-вторых, все равно нужно хранить резервную копию и не одну, поэтому экономить на дисковом пространстве не особо получится. И в третьих - ухудшится раздача контента и появляется еще одна точка отказа.

 

[Senya]

Smalesh, спасибо за Ваш ответ.

А поиск юзать никак?

Я про такое даже не слышал. Поэтому, к сожалению никак.

Во-первых, открывать амазоновский s3 наружу могут либо отчаянные, либо богатые.

По цене не знаю, в Сети противоречивые данные на этот счёт. Есть

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

, но там много параметров... Даже и не знаешь, какие данные туда вносить. Напишешь что-нибудь не так, и цена в 10 раз изменится.

Во-вторых, все равно нужно хранить резервную копию и не одну, поэтому экономить на дисковом пространстве не особо получится.

Согласен. Обязательно нужно хранить. Подстраховаться лишним не будет.

И в третьих - ухудшится раздача контента и появляется еще одна точка отказа.

Почему ухудшится? Amazon медленно отдаёт запрашиваемый файл, или в чём причина? Там же можно выбирать нужный регион где будут храниться файлы. Если выбрать тот что ближе к клиентам, должно быть всё нормально со скоростью, как мне это видится.

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

, что у него на форуме 350 тыс. картинок, и это занимает 40 Gb на диске:

Regarding attachment space, I have over 350K of attachments many large images and disk space is at 40GB at the moment. Point is disk space is not a very big concern at all.

Если XF может справиться своими силами с таким количеством картинок, тогда нет никакой необходимости в Амазоне S3.

Ещё раз спасибо за помощь!

 

[Smalesh]

Почему ухудшится?

Потому что сами аттачи не отдаются напрямую и между файлом и пользователем появляется еще одна прослойка.

 

[john_j]

Если выбрать тот что ближе к клиентам, должно быть всё нормально со скоростью, как мне это видится.

Имхо, лучше выбирать не то, которое ближе к клиентам, а то, которое ближе к вашему хостингу.
Статью почитайте, но лучше на офсайте, потому как здесь не написан общий смысл хранилищей, и может быть недопонимание.

Если кратко, то хранилищей собственно два - data и internal_data.
В одном аватарки и миниатюры, а в другом вложения.
Любое из них можно переключить на внешнее с помощью "адаптеров" в config.php.
При внешнем, скорость отдачи файла ограничена "самым медленным звеном" в цепи.
В моих случаях это был канал на сайте хостинга.

Переключив только internal_data, вообще не будет видно что используется внешнее, потому как для него не формируются прямые url к файлам.
Я в двух XF подключал по другому, и только для internal_data.
Хотя как в статье тоже должно работать, но если подумать, то можно сделать более оптимально.
На одном из сайтов, у меня, уже год полёт нормальный, файлов уже порядка 200 GB.

Подключение к S3 имеет свои плюсы и минусы.
Всё очень долго расписывать, потом сами поймете.
Для начала определитесь зачем вам вообще оно нужно. Какая цель ?

 

[Senya]

Потому что сами аттачи не отдаются напрямую и между файлом и пользователем появляется еще одна прослойка.

А, в этом смысле. Да, есть такое дело...

Имхо, лучше выбирать не то, которое ближе к клиентам, а то, которое ближе к вашему хостингу.
Статью почитайте, но лучше на офсайте, потому как здесь не написан общий смысл хранилищей, и может быть недопонимание.

Если кратко, то хранилищей собственно два - data и internal_data.
В одном аватарки и миниатюры, а в другом вложения.
Любое из них можно переключить на внешнее с помощью "адаптеров" в config.php.
При внешнем, скорость отдачи файла ограничена "самым медленным звеном" в цепи.
В моих случаях это был канал на сайте хостинга.

Переключив только internal_data, вообще не будет видно что используется внешнее, потому как для него не формируются прямые url к файлам.
Я в двух XF подключал по другому, и только для internal_data.
Хотя как в статье тоже должно работать, но если подумать, то можно сделать более оптимально.
На одном из сайтов, у меня, уже год полёт нормальный, файлов уже порядка 200 GB.

Подключение к S3 имеет свои плюсы и минусы.
Всё очень долго расписывать, потом сами поймете.
Для начала определитесь зачем вам вообще оно нужно. Какая цель ?

john_j, Спасибо большое за развёрнутый ответ. Идея выбирать хранилище ближе к хостингу, это круто!

Вообще, возможно что это у меня излишняя предусмотрительность, просто я планирую запуск форума, на котором в каждом моём посте будет много вложений картинок (от 10 до 30 как пример). И я думаю, что например если когда-то будет например 30,000 картинок на форуме, то он станет медленно работать, и не сможет обрабатывать такое количество картинок. В общем именно по этой причине я и стал смотреть в сторону Amazon S3.

Я связался на форуме xenforo.com с человеком у которого 350 тыс. вложений на форуме, он мне ответил, что при большом количестве вложений у XF никаких проблем нет, вот его ответ:

XF has zero problems with storing as many attachments as you would every need. You can have many millions attachments if you like.

 

[CrazyHackGUT]

У XF нет, а вот у ФС могут быть. В те же иноды можно упереться, а не в диск.

 

[Smalesh]

В те же иноды можно упереться, а не в диск.

Для аттачей это из грани фантастики

 

[john_j]

И я думаю, что например если когда-то будет например 30,000 картинок на форуме, то он станет медленно работать, и не сможет обрабатывать такое количество картинок. В общем именно по этой причине я и стал смотреть в сторону Amazon S3.

При таком количестве открытых для роботов картинок лучше не использовать S3.
Роботы будут кушать кучу трафика и соответственно бабок.
По этой причине, я на одном форуме внешнее подключил через FTP. Скорость конечно для картинок получилась низкая, но lazy load это несколько компенсирует.

 

[Smalesh]

через FTP

Это самый худший способ хранить аттачи или самый лучший их портить, все зависит от задачи.

 

[john_j]

самый лучший их портить

У кого ручонки кривые конечно может всё испортить.
Сайтик достаточно посещаемый, за год, уже пользователи залили 270000 файлов, и случаев что файл испортился не было.
Под внешние файлы взят самый отстойный хостинг Джино, и только FTP тариф.
Там не монетизированный проект, поэтому без бюджета.

Я работаю в команде, и у нас на другом проекте, корпоративном, под хранилище взят S3, поэтому уже успели сравнить скорость, надежность, целесообразность, и тд.

 

[CrazyHackGUT]

Под внешние файлы взят самый отстойный хостинг Джино

Однозначно

самый лучший их портить

 

[Smalesh]

, и только FTP тариф.

FTP не подразумевает контроля целостности файлов от слова совсем.
FTP не подразумевает туеву хучу одновременных коннектов на рядовых ftp.
FTP - долгий коннект.
Поэтому

Это самый худший способ хранить аттачи или самый лучший их портить, все зависит от задачи.

 

[john_j]

Тем не менее, проблем с файлами нет.
Может конечно потому что делаем что-то не так )

Мне топить за какой-то протокол смысла нет.
И это не только мое мнение.
Проект не мой, пишу исходя из наблюдений.