Robots.txt generador

By default all robots are

Crawl delay

 

Sitemap URL. Leave blank for none.

Robots are allowed to crawl your site:

 

Restricted directories or files. Relative to root, with trailing slash for dirs.

Your Robots.txt

El archivo Robots.txt en un sitio web es ayuda al webmaster ignorar archivos o directorios especificados cuando SCRECH MOTER SPIDER Crawling Un sitio.

Robots.txt Generator lo ayuda a obtener un archivo ROBOST.TXT Más fácil, WHN, selecciona el motor de búsqueda permitido y el tiempo de retardo de rastreo, ingrese la URL de Sitemap y seleccione los Rotots permitidos y luego obtenga su código. El código como a continuación:



Agente de usuario: *


No permitir: /


Agente de usuario: IA_Archiver


Rechazar:


Agente de usuario: Slurp


Rechazar:


Agente de usuario: Aport


Rechazar:


Agente de usuario: Teoma


Rechazar:


Agente de usuario: Baimuspider


Rechazar:


Agente de usuario: TwicEler


Rechazar:


Agente de usuario: Robozilla


Rechazar:


Agente de usuario: Gigabot


Rechazar:


Agente de usuario: Googlebot


Rechazar:


Agente de usuario: GoogleBot-image


Rechazar:


Agente de usuario: GoogleBot-Mobile


Rechazar:


Agente de usuario: mail.ru


Rechazar:


Agente de usuario: MSNBOT


Rechazar:


Agente de usuario: PSBOT


Rechazar:


Agente de usuario: NAVERBOT


Rechazar:


Agente de usuario: Yeti


Rechazar:


Agente de usuario: Nutch


Rechazar:


Agente de usuario: Stackrambler


Rechazar:


Agente de usuario: Scrubby


Rechazar:


Agente de usuario: Asterias


Rechazar:


Agente de usuario: Yahoo-Slurp


Rechazar:


Agente de usuario: yandex


No permitir:
Robots.txt generador
Calculadoras de recomendaciones Calculadora de conversor de flujo Calculadora de recuperación de calor Calculadora de flujo de ductos de aire Solucionador de diámetro hidráulico Calculadora de pérdida de cabeza de flujo de aire Convertidor de unidad de volumen Calculadora de pérdida de presión Calculadora de motores eléctricos Calculadora de penalización previa a PAGO Calculadora de pagos simple / de tasa fija (FRM) Calculadora de valor presente (PV) para el flujo de efectivo futuro Calculadora de saldo de la hipoteca Calculadora de tasas de interés Calculadora de valor futuro para calculadora de pago único Calculadora de reembolso de préstamo de educación para estudiantes