El archivo robots.txt, nos permite especificar páginas de nuestra web a las que no podrán acceder los sistemas automatizados de rastreo de páginas web ( como por ejemplo los robots de buscadores ), esto es útil para evitar que algunas secciones cómo páginas de resultado de búsqueda, URL"s con parámetros no representativos, páginas privadas o de usuario... Es un protocolo de caracteres puramente consultivo que confía en la cooperación del robot, de modo que excluir un área de tu sitio con ro... Leer más

Se les conoce como spiders, crawlers o robots. Son un programa automatizado que accede de forma periódica a páginas Web y procesa toda su información, así como sus palabras claves y todos los enlaces que existan en ella. Toda la información que nos aparece en un buscador al realizar una búsqueda está almacenada en una base de datos, información recolectada previamente por dicho robot. Los buscadores procuran ofrecer unos resultados actualizados, pero no visitan todas las páginas diariamente. Cua... Leer más