User-Agent: *
Crawl-delay: 5
Disallow: /auth*
Disallow: /basket*
Disallow: /order*
Disallow: /personal/
Disallow: /cart/
# /compare/ — НЕ служебная страница. Стоковое правило Битрикса закрывало сервис
# «сравнение товаров»; сам сервис живёт по /catalog/compare.php и закрыт ниже.
# По /compare/ с 02.08.2026 стоит посадочная «Сравнение агродронов DJI Agras:
# T25, T40, T50, T70P и T100», заявленная в sitemap и с пунктом в подвале, —
# то есть сайт просил её проиндексировать и тут же это запрещал (класс KB-008).
Disallow: /search/
Disallow: /test/
Disallow: /ajax/
Disallow: *index.php*
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /bitrix/admin/
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*print*
Disallow: /*action*
Disallow: /*register=
Disallow: /*password*
Disallow: /*login=
Disallow: /*type=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: *?arrFilter*
Disallow: */filter/
Disallow: /*display=
Disallow: /new/
Disallow: /agro/debug_
Disallow: /agro/diagnose
Disallow: /agro/diagnostic
Disallow: /agro/check_
Disallow: /agro/fetch_products
Disallow: /info/
Disallow: /catalog/fashion/
Disallow: /bitrix/coupon_activation.php
Disallow: /agro/z
Disallow: /agro/*-old.html
Disallow: /agro/*-v1.html
Disallow: /agro/agi_save
Disallow: /agro/agi_grab
# Параметрические дубли (поиск, подбор запчастей, метки)
# ВНИМАНИЕ: ?page= каталог не использует — пагинация идёт через PAGEN_1, эта строка
# фактически ничего не закрывает. Оставлена намеренно: PAGEN_1 держим ОТКРЫТЫМ, через него
# робот добирается до 2400 карточек (проверено 27.07: только /catalog/parts/ = 120 страниц
# пагинации). Яндекс сам исключает листинги как «малоценные», и это нормально.
Disallow: /*?page=
Disallow: /*?sphrase_id=
Disallow: /*&sphrase_id=
Disallow: /*?model=
Disallow: /*&model=
Disallow: /*?node=
Disallow: /*&node=
Disallow: /*utm_source=
Disallow: /*utm_medium=
Disallow: /*utm_campaign=
Disallow: /*utm_referer=
Disallow: /*yabizcmpgid=
Disallow: /*yabizcmpgn=
Disallow: /*utm_ya_campaign=
Disallow: /*utm_candidate=
Disallow: /*ybaip=
# Пустые stub-страницы — закрыты от индексации
Disallow: /company/news/
# /company/staff/ — не stub, а директория сотрудников: снят Disallow + добавлен noindex на странице (иначе Google не увидит noindex и держит в индексе)
Disallow: /company/vacancy/
Disallow: /company/partners/
Disallow: /company/licenses/
# Служебные страницы, попавшие в индекс с общим description «Интернет магазин
# сельскохозяйственных дронов» (Вебмастер 27.07: 43 таких страницы).
# /landings/ НЕ закрываем — это «Обзоры», реальный контент.
Disallow: /consent.php
Disallow: /include/
Disallow: /catalog/compare.php
# Склейка параметров для Яндекса
Clean-param: linerow&display
Clean-param: sphrase_id
Clean-param: model&node
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_referer&utm_ya_campaign&yabizcmpgn&yabizcmpgid&utm_candidate&ybaip
# etext — метка переходов Яндекса; без склейки /?etext=… индексируется как отдельная копия главной
#          (видно в Вебмастере: обновления поиска 21–27.07)
Clean-param: etext

# Meta AI-краулер (meta-externalagent): грузил некэшируемые деревья запчастей
# (~1800 зап/сутки по /catalog/parts/ и legacy /catalog/zapchasti_dlya_kvadrokopterov/),
# вызывая подвисания каталога. Закрываем тяжёлые разделы; главная и карточки uav
# остаются для превью ссылок в FB/Instagram/WhatsApp. Meta игнорирует Crawl-delay,
# поэтому именно Disallow снимает нагрузку.
User-agent: meta-externalagent
Disallow: /catalog/parts/
Disallow: /catalog/zapchasti_dlya_kvadrokopterov/
Disallow: /catalog/aksessuary_dlya_kvadrokopterov/
Disallow: /agro/
Disallow: /auth*
Disallow: /basket*
Disallow: /order*
Disallow: /cart/
Disallow: /personal/
Disallow: /search/
Crawl-delay: 60

# Малоценные скрейперы без бизнес-ценности — закрываем полностью
User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

Sitemap: https://agi-systems.ru/sitemap.xml
Sitemap: https://agi-systems.ru/sitemap-core.xml
Sitemap: https://agi-systems.ru/sitemap-agronom-obekty.xml