Generatore di robots.txt

Deve trovarsi nella radice del tuo dominio, servito all'indirizzo https://tuodominio.com/robots.txt. I crawler guardano solo lì: un robots.txt in una sottocartella viene ignorato.

Disallow indica ai crawler di non scansionare un percorso; Allow riabilita un percorso più specifico all'interno di uno non consentito. Una riga Disallow vuota significa che nulla è bloccato, quindi tutto il sito è scansionabile.

Non in modo affidabile. Disallow ferma la scansione, ma un URL bloccato può comunque comparire nei risultati se altre pagine lo collegano. Per tenere una pagina fuori dall'indice, consenti la scansione e aggiungi un meta tag noindex, oppure proteggila dietro un login.

No. Il file viene creato interamente nel tuo browser a partire da ciò che digiti. Niente viene caricato: copia o scarica il risultato e ospitalo tu stesso.