Генератор robots.txt
Создайте файл robots.txt с правилами allow и disallow.
Разместите этот файл в корне сайта, по адресу /robots.txt.
Рекомендуемые следующие шаги
Похожие инструменты
Создавайте SEO- и Open Graph-мета-теги из данных вашей страницы.
Посмотрите, как ваша страница выглядит в результатах поиска Google.
Создавайте единообразные ссылки отслеживания кампаний для GA4.
Частые вопросы
Он должен находиться в корне домена и отдаваться по адресу https://вашдомен.com/robots.txt. Роботы смотрят только туда — robots.txt во вложенной папке игнорируется.
Disallow запрещает роботам обходить путь; Allow снова разрешает более конкретный путь внутри запрещённого. Пустая строка Disallow означает, что ничего не закрыто, и весь сайт доступен для обхода.
Не надёжно. Disallow останавливает обход, но заблокированный URL всё равно может появиться в результатах, если на него ссылаются другие страницы. Чтобы убрать страницу из индекса, разрешите обход и добавьте мета-тег noindex или закройте её авторизацией.
Нет. Файл целиком формируется в вашем браузере из того, что вы вводите. Ничего не загружается — скопируйте или скачайте результат и разместите его сами.
Последнее обновление: 2026-06-23.