XF 2.1 Отключить "What's new" и "New posts" для гостей и ботов

[Clz1z]

Добрый день! Один нехороший человек постоянно натравливает ботов на страницы "What's new" и "New posts". Если раньше я просто фильтровал его айпи, то теперь он на эти страницы пригоняет гуглобота. Как отключить эти страницы для гостей?

 

[RAPAX]

Clz1z, приветствую.
Запретить ботам индексировать эти страницы в файле на FTP: robots.txt
По-типу: https://xenforo.info/robots.txt

User-agent: *
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Disallow: /тут ваша ссылка на What's new
Disallow: /тут ваша ссылка на New posts
Allow: /

Sitemap: https://ваш_сайт/sitemap.php

 

[Clz1z]

Clz1z, приветствую.
Запретить ботам индексировать эти страницы в файле на FTP: robots.txt
По-типу: https://xenforo.info/robots.txt

User-agent: *
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Disallow: /тут ваша ссылка на What's new
Disallow: /тут ваша ссылка на New posts
Allow: /

Sitemap: https://ваш_сайт/sitemap.php

Спасибо, но это не гарантирует снижение нагрузки на сервер.

 

[RAPAX]

Спасибо

Кнопка такая есть :)

но это не гарантирует снижение нагрузки на сервер.

Так ограничьте доступ к этим страницам всем, кроме Вас, либо подключите защиту от DDoS чтобы фильтровать всё "левое".

Полезная статья о том, как заблокировать ботов -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[Clz1z]

Я хочу ограничить доступ к этим страницам только гостям (и ботам). Ддос защита не поможет, потому что это настоящий гуглобот. А гуглобота отключать от сайта - это не хорошо :)

Хочется что то типа такого: если айди пользователя меньше 1, то редирект на главную страницу. Уверен, что в шаблоне можно это сделать, но пока не могу разобраться в нём.

 

[RAPAX]

Clz1z, так вы можете ограничить именно Googlebot к именно этим двум страницам насовсем через файл robots.txt

 

[Atikin]

OFFTOP

RAPAX, а гостей robots.txt отгоняет от тех страниц палками?

 

[Clz1z]

Clz1z, так вы можете ограничить именно Googlebot к именно этим двум страницам насовсем через файл robots.txt

Мой сайт ддосят через эти страницы. Сначала были просто рандомные боты, которых я блокировал через айпи. Сейчас начались гуглоботы. Мне нужно технически не выполнять эти страницы для гостей. Robots.txt не защищает от гуглобота совсем. Он все равно ходит по страницам, даже если они указаны в этом файле

 

[RAPAX]

Clz1z, позвольте уточнить, Вам эти две страницы нужны для пользования только Вами ? Или всеми ?

 

[Atikin]

RAPAX,

Как отключить эти страницы для гостей?

Я хочу ограничить доступ к этим страницам только гостям (и ботам).

 

[RAPAX]

Так с ходу и не скажешь, но где-то в настройках должно быть, что-то типа: галочка "Отображать страницу гостям форума".
Смотреть нужно. Если хотите, напишите в Telegram, помогу Вам.

 

[Clz1z]

Так с ходу и не скажешь, но где-то в настройках должно быть, что-то типа: галочка "Отображать страницу гостям форума".
Смотреть нужно. Если хотите, напишите в Telegram, помогу Вам.

В настройках такого нет

 

[Atikin]

RAPAX, ну да, давайте с каждым вопросом в телеграм, зачем форум вообще?
Clz1z, из коробки нет такого. Ищу исполнителя.

 

[hirowatch]

У меня только один вопрос. Каким боком он имеет доступ к гуглоботам? 0_о

 

[RAPAX]

У меня только один вопрос. Каким боком он имеет доступ к гуглоботам? 0_о

Да скорее всего его каким-либо методом ddos"ят, а тратить $ не хочется же на защиту, вот и прибегаем к вариантам "закрытия просмотра гостями и ботами страниц".
ps: как по мне, тут 2 варианта...
1. Взять защиту от DDoS атак.
2. Хорошенько по гуглить о файле robots.txt и её переменных, затем применить запрет всем ботам к данным страницам, ну и до кучи .htaccess , - о нём тоже.

 

[hirowatch]

User-agent: Googlebot
Disallow: /

 

[Clz1z]

У меня только один вопрос. Каким боком он имеет доступ к гуглоботам? 0_о

Автоматически добавляет в гугл консоли новые страницы, которые редиректят на меня - один из вариантов.

Да скорее всего его каким-либо методом ddos"ят, а тратить $ не хочется же на защиту, вот и прибегаем к вариантам "закрытия просмотра гостями и ботами страниц".
ps: как по мне, тут 2 варианта...
1. Взять защиту от DDoS атак.
2. Хорошенько по гуглить о файле robots.txt и её переменных, затем применить запрет всем ботам к данным страницам, ну и до кучи .htaccess , - о нём тоже.

Как защититься от гуглобота? Показывать ему ошибки и потерять позиции в выдаче?

RAPAX, ну да, давайте с каждым вопросом в телеграм, зачем форум вообще?
Clz1z, из коробки нет такого. Ищу исполнителя.

Спасибо

User-agent: Googlebot
Disallow: /

Хорошая шутка

 

[Smalesh]

2. Хорошенько по гуглить о файле robots.txt и её переменных, затем применить запрет всем ботам к данным страницам

Лучше ты сам немного погугли про этот файл, прежде чем молоть такую чушь.

что это настоящий гуглобот

Как определил? По UA - так в него все что угодно можно написать.
Нужно вырезать патерн вектора атаки и уже конкретно по нему фильтровать, это кастомно и делается на уровне nginx, а не на уровне движка.

 

[hirowatch]

Хорошая шутка

Где ты увидел шутку? Это пример закрытия от гуглботов

 

[Clz1z]

Как определил? По UA - так в него все что угодно можно написать.
Нужно вырезать патерн вектора атаки и уже конкретно по нему фильтровать, это кастомно и делается на уровне nginx, а не на уровне движка.

По айпи. Я чуть целую подсеть айпи гуглобота не добавил в черный список, хорошо что чекнул :)

Где ты увидел шутку? Это пример закрытия от гуглботов

Бан гуглобота = бан в гугле. Если сломал ноготь на пальце, то отрезать руку?