Использование DigitalOcean Spaces или Amazon S3 для хранения файлов в XF 2.1 & XF 2.2 2.4.1

[Matew]

Решил попробовать S3 от Яндекса, по трафику не сильно много будет, но вот файлов накоплено на ресурсе близко к 2 Тб. И что-то за 5 залитых гигов уже насчитали 50 р тарификации, это по примерным прикидкам все хранилище порядка 20 тыс руб что ли выйдет переместить? В тарифах обещали только исходящий считать ,а по факту так нехило получится вход )
Это у всех провайдеров плюс минус так? Первичная загрузка стоит весомо...

Вам нужно смотреть договор с конкретным провайдером. Общего ответа здесь нет

 

[Andrey_A]

Вам нужно смотреть договор с конкретным провайдером. Общего ответа здесь нет

Да это понятно.. .Написал скорее в надежде, что кто-то скажет - "а вот здесь совсем не так" ) Из личного опыта. Ну нет так нет, будем пробовать смотреть.
На данный момент 85 Гигов оценены в 500 р (подсчет по кол-ву операций put, т.е. по сути кол-ву файлов, а не объему), есть шансы уложится в разумные цифры )

 

[CrazyHackGUT]

a_polyakov, а вы лейте не все папки/файлы. Тот же code_cache движок в S3 игнорирует, он всё равно в локальную папку смотрит.

 

[Andrey_A]

a_polyakov, а вы лейте не все папки/файлы. Тот же code_cache движок в S3 игнорирует, он всё равно в локальную папку смотрит.

Его размер и кол-во файлов - мизерный мизер в сравнении с остальным ) А другие папки - на копии сайта удалил Internal_data, внутри создалась только code_cache и ничего больше. Так что похоже остальные все на удаленку.
В общем, по факту не знаю как они там считают - полная заливка уложилась в пару тыс. руб с копейками. При регистрации дали бонусов на 4К, так что выходит разумно.

 

[Andrey_A]

Вот так вот - заливал файлы целую неделю, добавляю код в config - и белый экран без объяснений..
Режим дебаг включал - белый экран. Строчки конфига прям по буквам уже перепроверил все.... Плагины выключил тоже все., кэширование отключил.
Версия движка самая свежая (2.3.6), без плагина AWS. И снова белый экран, ни пояснений ни ошибок.
Что не так-то ? )

Код, добавляемый в конец config.php

$s3 = function()
{
   return new \Aws\S3\S3Client([
      'credentials' => [
         'key' => 'ИДЕНТИФИКАТОР_КЛЮЧА',
         'secret' => 'САМ_КЛЮЧ'
      ],
      'region' => 'ru-central1',
      'version' => 'latest',
      'endpoint' => 'https://storage.yandexcloud.net'
   ]);
};

$config['fsAdapters']['data'] = function() use($s3)
{
   return new \League\Flysystem\AwsS3v3\AwsS3Adapter($s3(), 'ИМЯ_БАКЕТА', 'data');
};

$config['externalDataUrl'] = function($externalPath, $canonical)
{
   return 'https://ИМЯ_БАКЕТА.storage.yandexcloud.net/data/' . $externalPath;
};

$config['fsAdapters']['internal-data'] = function() use($s3)
{
   return new \League\Flysystem\AwsS3v3\AwsS3Adapter($s3(), 'ИМЯ_БАКЕТА', 'internal_data');
};

(разумеется вместо ИДЕНТИФИКАТОР_КЛЮЧА, САМ_КЛЮЧ и ИМЯ_БАКЕТА - нужные значения)

 

[Sadorimatsu]

a_polyakov, по коду и порядку у вас всё в порядке, как вижу. Единственное, в чём может быть проблема, это настройка со стороны яндекс облака.
К тому же вы должны были залить на бакет только папки data и iternal_data и в них нужно удалить папки cache и папку temp, как и удалить содержимое на основные data и iternal_data на самом сервере (но лучше на сервере сделайте бекап этих папок). Даже при загрузке вложений, ваш форум будет так же работать, но при неправильной настройки, вложения просто не будут отображаться, при работе облако, вложения прогрузятся. Про какой вы белый экран говорите непонятно.

От сервера, я загружал на бакет через S3cmd -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Это прям важно, каким способом вы загружаете файлы.

В моём случае устроено так в бакете: (на самом бакете доступ должен быть публичным)

 

[Andrey_A]

Даже при загрузке вложений, ваш форум будет так же работать, но при неправильной настройки, вложения просто не будут отображаться, при работе облако, вложения прогрузятся

Да, вот это и заставляет задуматься, если б даже что-то не так со стороны Яндекса, то просто форум без картинок. Делаю на копии, поэтому пробовал просто убирать папки, все работает, только вложений нет.
Здесь больше похоже на какую-то критичную ошибку ,возникающую при таком конфиге в файлах...

В моём случае устроено так в бакете:

Файлы все там, аналогично тому как были на локальном. Политики пробовал и как по умолчанию .и публичный доступ ставил - ничего не меняет...

 

[Andrey_A]

От сервера, я загружал на бакет через S3cmd -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Это прям важно, каким способом вы загружаете файлы.

Я по Вашей инструкции со 2-й или 3-й страницы тут - по ней и делал, и конфиг оттуда, с перепроверкой под себя.
Файлы все через s3 конечно

 

[West14]

a_polyakov, гляньте error-лог веб-сервера.

 

[Andrey_A]

В общем, разобрался, спасибо всем! И за инструкцию подробную от Sadorimatsu отдельное спасибо.
Ситуация - ресурс достаточно давний, объемный, обросший некоторым количеством дописок и плагинов. В папках data и internal_data раза в 2 больше директорий, чем на чистом xenforo (ставил для проверки чистый, на него все настройки и там работало).
Похоже чему-то на сайте нужны папки внутри переносимых (помимо кэшей). Не стал удалять все, а переименовал только те, ради которых и затевалось - аватары, атачменты, видео, аудио и еще несколько. Остальные места не занимают, потом с ними разберемся. В целом все работает, единственное не нравится, что адреса аватарок имеют url на яндексе, потом поэкспериментирую с cname, чтоб все было как на основном адресе по виду.

 

[It Works]

Я графику и картинки храню на своем сервере.Использую плагин чтобы их обжимать
Все что архивы и прочее я храню на S3
Использую такую связку

 

[CrazyHackGUT]

a_polyakov, количество файлов в этой папке зависит исключительно от количества стилей и локализаций. Там же кэш на все возможные виды комбинаций (один стиль, но три языка? стиль будет три раза скэширован с разными локалями. верно и обратное: три стиля, три языка - девять кэшей).

И это лишь один из примеров папки, который Ксен держит там, но никогда искать в S3 не будет.

 

[Alex Fair]

Alex Fair обновил(а) ресурс Использование DigitalOcean Spaces или Amazon S3 для хранения файлов в XF 2.1 & XF 2.2 новой записью:

Финальная версия для XenForo 2.2

Из-за проблемы мы выпускаем новую версию дополнения для поддержки клиентов, использующих XenForo 2.2 и более старые версии PHP.

Это последний поддерживаемый релиз, поскольку XenForo 2.2 больше не поддерживается, и это последняя версия AWS SDK, которая может поддерживаться XenForo 2.2.

Мы по-прежнему рекомендуем следующее:
Мы рекомендуем обновиться до XenForo 2.3 при первой возможности
Это дополнение можно безопасно удалить, если вы используете XenForo 2.3, так как оно поставляется с...

Узнать больше об этом обновлении...

 

[Sadorimatsu]

Из-за проблемы мы выпускаем новую версию дополнения для поддержки клиентов, использующих XenForo 2.2 и более старые версии PHP.

Вероятно это касаются пользователей PHP 7.4 или даже ниже... Потому что на 8.0 проблем нет и обновляться нет причин.

 

[Andrey_A]

Ой, все забываю итоги написать для тех, кто пойдет по тем же "следам" )
Не повторяйте ошибок, тут много про яндекс, и когда не вник в тему - ощущение, что он чуть ли не единственный. Однако, скажу так - есть провайдеры S3, тарифицирующие только занятое хранилищем место. А есть, где каждое обращение - плюсом к тарифу, а еще (как у того самого яндекса) мелкими буквами где-то в тарифах - отдельно считаемая "маршрутизация трафика" (в переводе на русский - еще с вас столько же за каждое обращение к файлу плюсом ).
В общем, рекламой заниматься не намерен, но сам с яндекса ушел через пару недель использования, ибо стоимость грозила превысить цену сервера ) Не яндексом единым жив S3.

 

[It Works]

Однако, скажу так - есть провайдеры S3, тарифицирующие только занятое хранилищем место.

У меня тоже так было 2.5 года точно
Тарифицировали только объем хранилища которое я арендовал заранее. А потом бац - решили еще и трафик тарифицировать
Тарификация только занятого хранилища это не гарантия что хостер в будущем не захочет изменить правила игры. Это уже лично убедился

 

[Andrey_A]

У меня тоже так было 2.5 года точно
Тарифицировали только объем хранилища которое я арендовал заранее. А потом бац - решили еще и трафик тарифицировать
Тарификация только занятого хранилища это не гарантия что хостер в будущем не захочет изменить правила игры. Это уже лично убедился

Но и не повод пользоваться тем, что в 3 раза дороже, не уступая по качеству ) Пока есть выбор, выбираем то что разумно. А там видно будет, всегда ж можно переехать при желании

 

[Atikin]

(как у того самого яндекса) мелкими буквами где-то в тарифах - отдельно считаемая "маршрутизация трафика" (в переводе на русский - еще с вас столько же за каждое обращение к файлу плюсом )

*

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

.
Если же вы смотрели на стоимость хранения за гигабайт данных и решили взять холодное или ледяное хранилище, плата будет взиматься за каждое обращение. Но эти хранилища больше рассчитаны на данные, к которым не будет частых обращений, например, резервные копии.

 

[Sadorimatsu]

Andrey_A, так поделитесь что в итоге выбрали для S3. Я лично пока по затратам особо не парюсь с яндексом, так что приемлемо. Да и разве не все облачные сервисы с S3 начали брать за трафик? Конечно, если и выбирать среди них варианты, то вопрос не только цены будет стоять, но и объёмов, которые иной сервис может предложить. Лично пока не наблюдал таковых, кто бы за трафик не брал в РФ.

 

[CrazyHackGUT]

К слову, имейте ещё в виду, что в Ксене самая ушлёпская реализация с проксированием даже GET-запросов через двигло. Так что единственный бенефит от S3 - получение некого стейтлесс, ну и экономия диска на сервере.