Efremov
Проверенные
- Сообщения
- 3,280
- Решения
- 52
- Реакции
- 2,039
- Баллы
- 5,975
Сегодня просматривая онлайн, увидел такое(скрин ниже) - "Робот Google Adsense управляет деталями профиля" :astonished:
Как такое может быть если профили закрыты от гостей(robots.txt)? Это получается что боты и индексируют профили?
В роботсе присутствует
Disallow: /account/ и Disallow: /members/. Каким образом бот, может видеть профили?
Никто разве не сталкивался с таким явлением?
Как такое может быть если профили закрыты от гостей(robots.txt)? Это получается что боты и индексируют профили?
В роботсе присутствует
Disallow: /account/ и Disallow: /members/. Каким образом бот, может видеть профили?
Никто разве не сталкивался с таким явлением?
Вложения
Последнее редактирование модератором: