Зачем нужен robots.txt и как его правильно прописать, куда вставить?

Пользователь

Привет!

Подскажите, зачем нужен файл robots.txt?

Как его правильно прописать и главное разместить на форуме?

Facebook Vk Ok Twitter Telegram Whatsapp
5 января 2021 г., 17:24

Пользователь

В этом файле прописывают алгоритм действия для поисковых систем. С его помощью вы можете запретить индексировать некоторые странички. Здесь же указывается адрес sitemap - карты сайта.

5 января 2021 г., 17:31

Пользователь

Знаете, я бы вам посоветовал зайти в справку Яндекс Вебамастера и найти там статью про robots. В ней подробно расписано про этот файл и как его правильно заполнять. Не знаю, разрешено ли здесь оставлять ссылки, поэтом спамить не буду.

6 января 2021 г., 15:34

Пользователь

Я вам советую, после того как создадите файл, обязательно его проверьте в Вебмастере. Он вам сразу выдаст правильно составлен или нет. Это убережёт вас в будущем от неправильной индексации ресурса.

6 января 2021 г., 15:43