Как закрыть поддомены сайта от индексации: robots.txt, htaccess и meta name?

24.10.2022
56

Порой на сайтах становится необходимым закрыть от индексации поддомены. Например, при создании мультирегиональных или мультиязычных сайтов не всегда есть необходимость попадания поддоменов в поисковую выдачу. Чаще всего перед сеошником такая задача стоит когда нужно для Яндекса создать кучу региональных поддоменов, при этом для Google, из-за отличий регионального ранжирования, эти поддомены желательно скрыть от индексации.

Так как роботс - рекомендация, мы рекомендуем использовать тег и директиву - предназначенную только для поисковых роботов.

Если Вам нужно закрыть поддомены только одного поискового робота, для Гугла, то тег и директива будет выглядить так:

При копировании, удалите лишние пробелы.

< meta name="googlebot" content="noindex, nofollow"/>

noindex

Указывает ПС на то, что данную страницу индексировать не нужно. Соответственно, в SERP она не попадет.

< meta name="robots" content="noindex" />

nofollow

Краулеры не будут переходить по ссылкам на странице, но следует заметить, что URL страниц все равно могут быть просканированы и проиндексированы, в особенности если на них ведут внешние ссылки.

< meta name="robots" content="nofollow" />

Запрет индексации поддомена в robots.txt, если он находится в подкаталоге /sub/:

User-agent: *

Disallow: /sub/

Запрет индексации поддомена в htaccess, если он находится в подкаталоге /sub/:

RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]

RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]

RewriteRule ^/sub/.*$ – [F]

или же в /sub/.htaccess :

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]

RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]

RewriteRule ^.*$ – [F]

Запрет индексации поддомена в robots.txt , если он находится в одном каталоге с сайтом или другими поддоменами:

RewriteCond %{HTTP_HOST} sub1.site.ru.*$

RewriteRule ^robots.txt$ robots1.txt

Создать robots1.txt его поместить в корень, а в него:

User-agent: *

Disallow: /

Таким образом создадим несколько разных robots.txt для каждого поддомена.

Запрет индексации поддомена в htaccess , если он находится в одном каталоге с сайтом или другими поддоменами:

RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]

RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]

RewriteCond %{HTTP_HOST} sub1.site.ru.*$

RewriteRule ^.*$ – [F]

Можно так же запретить все поддомены, кроме указанных.

Это может быть полезно в случае социальных сетей или каталогов с личными данными.

sub1, sub2 – поддомены, которые запрещать не надо.

RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]

RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]

RewriteCond %{HTTP_HOST} ^([a-z0-9-]+).site.ru.*$ [NC]

RewriteCond %{HTTP_HOST} !www.site.ru.*$ [NC]

RewriteCond %{HTTP_HOST} !sub1.site.ru.*$ [NC]

RewriteCond %{HTTP_HOST} !sub2.site.ru.*$ [NC]

RewriteRule ^.*$ – [F]

блог

Похожие статьи

Остались вопросы?

Наши эксперты готовы ответить на них!
Свяжитесь по указанному телефону с нашим менеджером или воспользуйтесь услугой «Перезвонить мне». Мы свяжемся с вами в ближайшее время.

    Крутите колесо
    и получайте приз
    Укажите свою почту и мы пришлем на нее ваш подарок
    Акция действует только для новых подписчиков
    На этом сайте используются файлы cookie. Продолжая просмотр сайта, вы разрешаете их использование. Подробнее. Закрыть