
Robots.txt
Robots.txt – это файл, который используют для управления поведением поисковых роботов. Его размещают в корневой директории веб-сайта, указывая весь перечень страниц, которые не должны быть проиндексированы. Чаще всего в robots.txt помещают те страницы, которые имеют отношение к личной информации пользователей или к технической части веб-ресурса.
Robots.txt стоит сформировать, если на сайте огромное количество материалов и страниц, которые не требуют SEO-продвижения. Роботы, посещая сайты, не оценивают их за один раз целиком, а выборочно индексируют отдельные страницы. И, чтобы поисковые машины оценивали релевантность нужных вам страниц, а не тратили свое время на вспомогательные, для этого стоит разработать файл robots.txt.
Ниже представлены правильные robots.txt для различных CMS. Вам необходимо:
- Скопировать содержимое необходимого robots.txt в ваш файл robots.txt,
- Переименовать домен example.com на ваш в строке sitemap.xml,
- Загрузить полученный файл в корневой каталог вашего сайта.
Файл robots.txt для 1С-Битрикс
User-agent: *
Disallow: /*index.php$
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: */*search
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*print
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*?action=
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*back_url*
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*PAGEN_*
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*SHOWALL
Disallow: /*show_all=
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для ImageCMS
User-agent: *
Disallow: /applications/modules/admin
Disallow: /rss
Disallow: /captcha
Disallow: /js
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для Opencart
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для CS-Cart
User-agent: *
Disallow: /images/thumbnails/
Disallow: /cgi-bin/
Disallow: /app/
Disallow: /design/
Disallow: /js/
Disallow: /var/
Disallow: /store_closed.html
Disallow: /404.html
Disallow: /init.php
Disallow: /php.ini
Disallow: /prepare.php
Disallow: /sendmail/
Disallow: /*sl=
Disallow: /*currency=
Disallow: /*sort_by=
Disallow: /*layout=
Disallow: /*variant_id=
Disallow: /*display=
Disallow: /*page=
Disallow: /*return_url=
Disallow: /*more_filters=
Disallow: /*features_hash=
Disallow: /*subcats=
Disallow: /*?sef_rewrite=
Disallow: /*tags.summary*
Disallow: /*wishlist.view*
Disallow: /login?
Disallow: /profiles-update
Disallow: /index.php?dispatch=products.quick_view
Disallow: /index.php?dispatch=auth.recover_password
Disallow: /index.php?dispatch=events.search
Disallow: /index.php?dispatch=auth.login_form
Disallow: /index.php?dispatch=gift_certificates.add
Disallow: /index.php?dispatch=news.list
Disallow: /index.php?dispatch=orders.search
Disallow: /index.php?dispatch=profiles.update
Disallow: /index.php?dispatch=profiles.add
Disallow: /index.php?dispatch=checkout.cart
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для WebAsyst Shop-Script
User-agent: *
Disallow: /auth/
Disallow: /cart/
Disallow: /checkout/
Disallow: /feedback/
Disallow: /installer/
Disallow: /published/
Disallow: /installer/
Disallow: /published/wbsadmin/
Disallow: /login/
Disallow: /logout/
Disallow: /myaccount/
Disallow: /order_status/
Disallow: /published/SC/html/scripts/
Disallow: /register/
Disallow: /remind_password/
Disallow: /*view=*
Disallow: /*/reviews/
Disallow: /order_status/
Disallow: /order_history/
Disallow: /*ukey=order_history
Disallow: /*print_form*
Disallow: /*save_voting_results=yes
Disallow: /category/*/offset
Disallow: /en/
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для MODx
User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для NetCat
User-Agent: *
Disallow: /?
Disallow: /install/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /netcat_files/
Disallow: /*.swf
Disallow: /eng/
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для InstantCMS
User-agent: *
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /users/
Disallow: /core/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Sitemap: http://example.com/sitemaps.xml
Файл robots.txt для WordPress
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/
Disallow: /*trackback
Disallow: /*feed
Disallow: /*comments
Disallow: /*?s=
Disallow: /tag/
Disallow: */page/
Disallow: /&post=
Disallow: /?p=
Disallow: /author/
Allow: /wp-content/uploads
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для HostCMS
User-agent: *
Disallow: /404/
Disallow: /403/
Disallow: /admin
Disallow: /search
Disallow: captcha.php
Disallow: download_file.php
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для Simpla
User-agent: *
Disallow: /sections/404
Disallow: /simpla/
Disallow: /order/
Disallow: /user/
Disallow: /js/
Disallow: /captcha/
Disallow: /Smarty/
Disallow: /design/
Disallow: /api/
Disallow: /compiled/
Disallow: /cart/
Disallow: /resize/
Disallow: /password.php
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для UMI.CMS
User-Agent: *
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php
Disallow: /images
Disallow: /images/lizing
Disallow: /images/ntc
Disallow: /files
Disallow: /users
Disallow: /admin
Disallow: /search
Disallow: /install-temp
Disallow: /install-static
Disallow: /install-libs
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для DIAFAN.CMS
User-agent: *
Disallow: /m/
Disallow: /?
Disallow: /news/rss/
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для DataLife Engine
User-agent: *
Disallow: /*print
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /banners/
Disallow: /user/
Disallow: /20*
Disallow: /*?*
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для Drupal
User-agent: *
Disallow: /includes
Disallow: /misc/
Disallow: /modules
Disallow: /profiles
Disallow: /scripts
Disallow: /themes/
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
Disallow: /admin
Disallow: /comment/
Disallow: /filter/
Disallow: /node/add/
Disallow: /search
Disallow: /user*
Disallow: /archive/all/20*
Disallow: /archive/all$
Disallow: /?q=admin/
Disallow: /?q=comment/
Disallow: /?q=filter/tips/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /?q=user/logout/
Disallow: /*?sort*
Disallow: /*&sort*
Disallow: /tracker?
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для AMIRO.CMS
User-agent: *
Disallow: /admin
Disallow: /_admin/
Disallow: /members
Disallow: /search
Disallow: /subscribe
Disallow: /users
Disallow: /*offset=0
Disallow: /*forum_ext=
Disallow: /*_print_version=
Disallow: /*action=export_rss
Disallow: /*action=search
Disallow: /*action=view_posts
Disallow: /*display_form=
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для PHPShop
User-Agent: *
Disallow: /java/
Disallow: /opros/
Sitemap: http://example.com/sitemaps.xml
Файл robots.txt для Joomla!
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: *.pdf$
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для Fast-Sales Pro
Disallow: */admin/
Disallow: */account
Disallow: */account/
Disallow: */cart
Disallow: */subscribe
Disallow: */unsubscribe
Disallow: */order_status
Disallow: */price_list
Disallow: */psearch
Disallow: */psearch/
Disallow: */questionary
Disallow: /includes/libs/kcaptcha/
Disallow: /news/subscribe.html
Disallow: /random/
Disallow: /rated/
Disallow: /recent/
Disallow: /search/
Disallow: /tag/
Disallow: /tabraz.html
Disallow: /zakaz.php
Sitemap: http://example.com/sitemap.xml
Файл robots.txt для TYPO3 CMS
User-Agent: *
Disallow: /fileadmin/website/notimportant/
Disallow: /flow/drafts/
Disallow: /neos/drafts/
Disallow: /t3lib/
Disallow: /typo3/
Disallow: /typo3conf/
Disallow: /typo3temp/
Disallow: /typo3cms/drafts/
Disallow: /*?id=*
Sitemap: http://www.example.com/sitemap.xml
Файл robots.txt для UCOZ
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Sitemap: http://example.com/sitemap.xml
Sitemap: http://example.com/sitemap-forum.xml
Файл robots.txt для LiveStreet
User-agent: *
Disallow: /search/
Disallow: /rss/
Disallow: /yarss/
Sitemap: http://example.com/sitemap.xml