Bien que le référencement d'un site soit très important, il arrive pour certains projets qu'il soit nécessaire de ne pas le référencer dans les moteurs de recherche et plus précisément Google. Par exemple, pour un outil interne qui n'a aucun but public.
Il suffit pour cela d'ajouter dans le balise <head> de toutes vos pages, ce code :
<meta name="robots" content="noindex, nofollow" />
noindex indique aux crawlers de ne pas référencer la page, nofollow indique de ne pas suivre les liens.
Attention vous devez autoriser le robot à lire votre site et donc ne pas le bloquer dans votre robots.txt.
C'est paradoxal mais Google doit pouvoir lire votre page pour savoir qu'il ne doit pas la référencer dans ses résultats. Il y a une différence entre lire/crawler et référencer/indexer. Si vous bloquez les robots avec un code du type Disallow: / ils ne pourront pas lire la balise meta indiqué ci-dessus et donc, si dans le futur d'autres sites ont des liens pointant vers votre site, Google les affichera tout de même dans ses résultats.