Перед созданием новой темы, пожалуйста, ознакомьтесь с FAQ по LinkorCMS

Директива Host

Пользователь
Сообщений: 4
Создал я файл robots.txt со следующим содержимым:
User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /feedback/
Disallow: /user/registration/
Disallow: /user/forgotpass/

Робот Яндекса просит добавить директиву Host в файл robots.txt
Вот ещё скриншот с Яндекс-Вебмастер:


-- Изменено "1234": 02.07.2017 20:57 --

А как добавить эту директиву??
Я так понимаю, это должна быть строка в файле robots.txt
Разработчик
Сообщений: 256
Простой вопрос, ответ на который легко ищется в интернете.
Если ваш сайт доступен по нескольким адресам (например с www и без), нужно указать в robots.txt, какой адрес является основным.
Пример: Host: www.glavnoye-zerkalo.ru
Пользователь
Сообщений: 4
А это (директиву) в конец или начало файла robots.txt вписывать?
Разработчик
Сообщений: 256
Вроде как User-agent образует группу. По логике можно ее добавить в начало файла, для всех групп, или в конец каждой группы User-agent. Но вообще советуют ее добавлять в конец, после User-agent, Allow и Disallow.
Если что-то не так, валидатор Яндекса вас предупредит, я думаю.
Гости не могут отвечать на темы. Войдите или Зарегистрируйтесь.
Здесь присутствуют
(пользователей: 0, гостей: 1)
Быстрый переход: