El archivo robots.txt, nos permite especificar páginas de nuestra web a las que no podrán acceder los sistemas automatizados de rastreo de páginas web ( como por ejemplo los robots de buscadores ), esto es útil para evitar que algunas secciones cómo páginas de resultado de búsqueda, URL"s con parámetros no representativos, páginas privadas o de usuario... Es un protocolo de caracteres puramente consultivo que confía en la cooperación del robot, de modo que excluir un área de tu sitio con ro... Leer más

Aparecer en un buscador es la tarea SEO más sencilla. Lo único que tenemos que hacer es darle a conocer al buscador la dirección URL de nuestra página Web para que la indexe en su base de datos. Existen 2 formas de hacerlo. La primera consiste en rellenar un formulario, que normalmente incluyen todos los buscadores. Sin duda esta es la opción más lenta, ya que desde que rellenas el formulario hasta que el buscador valida tu Web puede pasar más tiempo del que puedes esperar para empezar a ver res... Leer más

Los robots de los buscadores

RASTREAN PERIÓDICAMENTE LA RED RECOLECTANDO INFORMACIÓN

Los robots de los buscadores

Se les conoce como spiders, crawlers o robots. Son un programa automatizado que accede de forma periódica a páginas Web y procesa toda su información, así como sus palabras claves y todos los enlaces que existan en ella. Toda la información que nos aparece en un buscador al realizar una búsqueda está almacenada en una base de datos, información recolectada previamente por dicho robot. Los buscadores procuran ofrecer unos resultados actualizados, pero no visitan todas las páginas diariamente. Cua... Leer más