Зачем нужен robots.txt и как его правильно прописать, куда вставить?

В этом файле прописывают алгоритм действия для поисковых систем. С его помощью вы можете запретить индексировать некоторые странички. Здесь же указывается адрес sitemap - карты сайта.

Знаете, я бы вам посоветовал зайти в справку Яндекс Вебамастера и найти там статью про robots. В ней подробно расписано про этот файл и как его правильно заполнять. Не знаю, разрешено ли здесь оставлять ссылки, поэтом спамить не буду.

Я вам советую, после того как создадите файл, обязательно его проверьте в Вебмастере. Он вам сразу выдаст правильно составлен или нет. Это убережёт вас в будущем от неправильной индексации ресурса.