User-agent
User-agent – это директива, с помощью которой можно регулировать поведение поисковых роботов путем установления для них определенных правил поведения. Прописывается в файле robots.txt с общей инструкцией для всех поисковых систем или отдельными инструкциями для каждого робота в отдельности.
User-agent позволяет закрыть от индексации одну страницу или несколько разделов с сохранением индексации картинок, расположенных на страницах внутри этих разделов.
