Генератор robots.txt

Он должен находиться в корне домена и отдаваться по адресу https://вашдомен.com/robots.txt. Роботы смотрят только туда — robots.txt во вложенной папке игнорируется.

Disallow запрещает роботам обходить путь; Allow снова разрешает более конкретный путь внутри запрещённого. Пустая строка Disallow означает, что ничего не закрыто, и весь сайт доступен для обхода.

Не надёжно. Disallow останавливает обход, но заблокированный URL всё равно может появиться в результатах, если на него ссылаются другие страницы. Чтобы убрать страницу из индекса, разрешите обход и добавьте мета-тег noindex или закройте её авторизацией.

Нет. Файл целиком формируется в вашем браузере из того, что вы вводите. Ничего не загружается — скопируйте или скачайте результат и разместите его сами.