# vexoz.ru — что можно обходить поисковику.
# Заведён 16.08.2026, когда сайт открыли поиску. До этого адрес отдавал 404.
#
# ГЛАВНОЕ ПРАВИЛО ЭТОГО ФАЙЛА, И ОНО НЕОЧЕВИДНО:
# посадочные страницы здесь НЕ ЗАПРЕЩЕНЫ, хотя в поиск им не надо.
# Запрет в robots.txt значит «не заходи», а не «не показывай». Робот,
# которому запрещён заход, не прочитает на странице метку noindex — и
# при появлении ссылки со стороны спокойно покажет её в выдаче, без
# описания и с чужим текстом. Поэтому обход разрешён, а из выдачи их
# держит метка noindex в самой разметке. Запрещать надо ровно то, что
# не должно быть прочитано вовсе.

User-agent: *

# Приложение: формы, кабинет, служебные экраны. Читать там нечего, а
# страницы результата проверки ещё и уникальны для каждого посетителя.
Disallow: /check/

# ФАЙЛЫ ОФОРМЛЕНИЯ И СКРИПТЫ ЗАПРЕЩАТЬ НЕЛЬЗЯ, и это ошибка, которую я
# успел сделать и убрать 16.08.2026. Мысль была разумная — не сорить в
# отчёте обхода. Плата оказалась несоразмерной: поисковик не просто читает
# разметку, он рисует страницу, как её видит человек, и по нарисованному
# судит о содержании и о пригодности для телефона. Робот без brand.css и
# landing.css видит голый текст без вёрстки — то есть заведомо худшую
# страницу, чем настоящая. Шум в отчёте дешевле такой оценки.

Sitemap: https://vexoz.ru/sitemap.xml