Job Description
Buscamos un/a especialista en Evaluación de Modelos de IA con experiencia en GenAI para asegurar la calidad, rendimiento y gobernanza de soluciones basadas en LLMs en entornos productivos.
📍 Ubicación: Madrid (Pozuelo de Alarcón)
📍 Modalidad: Híbrida (alta flexibilidad según el perfil)
💰 Salario: flexible
🚀 Responsabilidades
- Evaluar y comparar modelos LLM (OpenAI, Anthropic, etc.) en términos de calidad, consistencia, latencia y coste, identificando riesgos.
- Monitorizar cambios en modelos (versiones, deprecaciones, ajustes de comportamiento) y analizar su impacto en sistemas productivos.
- Optimizar estrategias de prompting para cada modelo, asegurando estabilidad, eficiencia y reducción de costes.
- Diseñar e implementar frameworks de testing para GenAI: regresión, pruebas de prompts, pipelines de evaluación y dash...