Закрывание ненужных страниц веб-ресурса от поисковой индексации очень важно для его SEO-оптимизации, особенно на этапе становления сайта «на ноги». Сиё рекомендовано к применению на технических и сервисных страницах движка сайта, страницах – не представляющих абсолютно никакой поисковой ценности.

Файл robots.txt – набор правил и указаний для роботов поисковых систем, выполняемых ими при обходе и индексации контента сайта. robots.txt – простейший текстовый файл свободного доступа, находится в корне системных файлов движка сайта, по адресу site/robots.txt, где «site» – домен или поддомен сайта. Например: http://tehnopost.info/robots.txt