Почему закрывают ссылки от индексации
Иногда внешние ссылки ведут на страницы, которые не нужно показывать в поиске: черновики, служебные разделы или материалы без готового контента. Закрытие таких ссылок от индексации помогает поисковым системам не тратить время на их анализ и не предлагать пользователям незавершённые страницы.
Способы и проверка результата
В файле robots.txt можно указать директиву Disallow для нужных адресов, а отдельные страницы закрыть метатегом noindex. После внесения изменений проверьте, как поисковик видит сайт: запросите URL через инструменты вебмастера или откройте страницу в режиме просмотра исходного кода. Если директивы вступили в силу, ссылки перестанут появляться в выдаче.