Sobre nuestro rastreador

Job radar mantiene un índice en el que se pueden buscar las ofertas que las empresas publican en sus propias webs de empleo. Esta página explica qué descarga nuestro rastreador, cómo se comporta en tus servidores, qué conserva y cómo detenerlo.

Contacto: dirección de contacto pendiente

Qué descarga

• Solo los portales de empleo propios de las empresas, tal como se publican a través de su sistema de gestión de candidaturas (ATS): el listado de ofertas abiertas y, cuando el listado no trae la descripción, la página de cada anuncio.
• Nada más: ni agregadores o revendedores de ofertas, ni redes sociales, ni perfiles de candidatos, ni páginas que requieran iniciar sesión.

Hoy lee 12.361 portales de 12.296 empresas en estas plataformas:

Cómo se identifica

API públicas de portales de empleo

En las API públicas documentadas de boards-api.greenhouse.io, api.lever.co, api.eu.lever.co, api.ashbyhq.com, apply.workable.com, .jobs.personio.de, .jobs.personio.com, .recruitee.com, cada petición lleva este User-Agent:
jobcollector/0.1 (private non-commercial job-search tool)

Otras webs de empleo

Las peticiones a otras webs de empleo de empresas llevan una cadena User-Agent de navegador estándar (Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0 Safari/537.36). Esa decisión está en revisión (ver más abajo); nunca cambia cómo trata el rastreador tu robots.txt o tus límites de peticiones.

Token de robots.txt

jobcollector, en todos los hosts, sea cual sea el User-Agent de la petición.

Cómo se comporta

• Se respeta robots.txt. Se lee antes que nada en cada host y se conserva hasta 24 horas. Las reglas Disallow para jobcollector (o *) se cumplen, y Crawl-delay se usa como intervalo mínimo entre peticiones. Cuando robots.txt responde con un error del servidor o no se puede alcanzar, no se descarga nada de ese host; se vuelve a consultar al cabo de 1 hora. Una excepción documentada: smartrecruiters.com, cuyo robots.txt solo admite un rastreador concreto; se lee al mismo ritmo que cualquier otro host.
• Las peticiones a un mismo nodo empiezan con al menos 1 segundo de separación (o tu Crawl-delay, si es mayor). Los hosts que comparten un mismo backend cuentan como un solo nodo: todos los clientes de un pod de Workday, de una región de Oracle Cloud y de las plataformas multicliente .recruitee.com, .jobs.personio.de, .jobs.personio.com, .breezy.hr, .bamboohr.com, .teamtailor.com.
• Un portal nunca se lee dos veces en menos de 1 hora, y se lee al menos una vez cada 24 horas: los portales con más movimiento, más a menudo; los tranquilos, a diario. Una lectura fallida se reintenta al cabo de 30 minutos, y después cada vez con menos frecuencia.
• Espera progresiva. Una petición fallida se reintenta hasta 3 veces con esperas crecientes y aleatorias de 1 segundo a 1 minuto. Retry-After se respeta; uno superior a 1 minuto detiene todas las peticiones a ese nodo durante todo ese tiempo. Un 429 persistente detiene el nodo durante 15 minutos. Estas pausas se mantienen tras un reinicio.
• Sin evasión. Una comprobación antibots, un CAPTCHA o una página de acceso denegado nunca se resuelven ni se reintentan: el nodo se pausa durante 1 hora y la lectura se registra como incompleta. Una página de acceso denegado justo después de respuestas normales significa que hemos preguntado demasiado deprisa: ese nodo pasa a leerse a la mitad de ritmo, de forma permanente (como mucho, hasta una petición cada 16 segundos). Sin navegadores sin interfaz, sin grupos de proxies ni direcciones rotativas, sin inicios de sesión.
• Cada petición se abandona al cabo de 30 segundos.

Qué conserva

• Anuncios tal como se publican (título, empresa, ubicación, descripción, fechas, el enlace para inscribirse) y lo que extraemos de ellos (nivel, país, modalidad de trabajo, salario si se indica), con la fecha en que cada uno se vio por primera vez, se confirmó abierto por última vez y se cerró. Las personas se inscriben en tu web: enlazamos a tu anuncio.
• Respuestas en bruto, como prueba que nos permite comprobar y corregir lo que hemos extraído: las páginas de listado durante 14 días; la página de un anuncio mientras la oferta está abierta, y durante 90 días después de que se cierre o cambie.
• Los anuncios siguen en el índice después de cerrarse, marcados como cerrados. No se recoge nada sobre las personas que visitan tu web.

Cómo excluirse

• robots.txt: User-agent: jobcollector con Disallow: / detiene nuestras peticiones a ese host en un plazo de 24 horas.
• Pídenoslo: escribe a dirección de contacto pendiente con el nombre de tu empresa y tu web de empleo. Desactivamos tus portales y registramos tu empresa en nuestra lista de exclusión para que no se vuelva a añadir y, si lo pides, eliminamos los anuncios y las respuestas en bruto que ya tengamos.