Индексация сайта на Битрикс

Для того, чтобы поисковик не нарезал круги по сайту, рекомендуется заполнять robots.txt следующим образом:

User-agent: *
Disallow: /bitrix/
Disallow: /search/
Allow: /search/map.php
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$

  • Yaroslav Nefedov

    а есть мнение, почему страницы имеющие формат /damain/category/index.php — не индесируются поисковиками ?

    • Есть много вариантов. А есть страничка-пример? Та самая, имеющая формат и не индексирующая.

      • Yaroslav Nefedov
        • На первый взгляд все ок — а как определили, что страница не индексируется? В sitemaps.xml страница присутствует. Вообще пользуетесь каким-нибудь инструментом разработчика webmaster.yandex.ru или www.google.com/webmasters/ там могут быть более подробные сведения о причинах.

          • Yaroslav Nefedov

            смотрел и там, и там. ничего (

            понял, чо не индексируется потому, что запросе уникального предложения не видит даже в 100. ну такого реально быть не может для такого сайта (