El archivo Robots.txt es un archivo en texto plano que podemos editar para bloquear el ingreso de algún robot o crawler-bot.
Este archivo es muy sencillo, pero puede ser un dolor de cabeza si no se maneja de la mejor forma.
Para editar este archivo, lo podremos hacer con cualquier editor de texto y lo debemos subir a la raíz de nuestro sitio web.
Artículo en redacción.
