Senior Software Engineer - Evals for Agents
Mercadolibre
CabaHybridSenior
Posted 12 days ago. 643 more Machine Learning / AI Engineer jobs in the United States went up on company career pages this week.
See the newer ones
Straight from the company’s own careers site.
The job in short
Building evaluations for AI agents.
PythonSQLBigQueryLLMLLMs
Details
- Found
- 11 d ago · posted 2026-10-26
- Location
- CABA, AR
Full description
Como Senior Software Engineer Backend en Mercado Libre, diseñarás y escalarás sistemas innovadores y seguros que resuelven problemas reales y de alto impacto. Trabajarás en un entorno dinámico con tecnología de vanguardia, aplicando buenas prácticas de ingeniería, modelos de IA propios y aprendizaje continuo, con el propósito de democratizar el comercio electrónico y los servicios financieros en América Latina.
Imagináte emprendiendo proyectos desafiantes, dinámicos e innovadores y siendo responsable de:
* Evolucionar y mantener la plataforma de evaluación de agentes (online y offline evals) que usan los equipos de MELI que construyen agentes y desarrollar capabilities para entender la salud de los agentes en producción: métricas de calidad, detección de regresiones, observabilidad y alertas.
* Construir herramientas de experimentación offline: replay de conversaciones reales, usuarios simulados y comparación de versiones de modelos, prompts y configuraciones.
* Crear el ciclo de mejora continua de agentes para transformar los resultados de las evaluaciones en mejoras accionables para los equipos dueños de los agentes: selección de modelos por calidad y costo, ajustes de prompts, tools y flujos conversacionales.
* Hacer que la plataforma sea simple de adoptar: APIs, CLI e integraciones con herramientas de desarrollo asistido por IA (Skills, MCPs).
* Colaborar con equipos de producto, negocio y tecnología para traducir necesidades concretas en soluciones de impacto.
Mantenerse actualizado/a sobre tendencias, modelos y buenas prácticas del ecosistema de IA generativa y evaluación de agentes, en un contexto de evolución constante.
¿Qué buscamos en vos?
* Poseer conocimiento sobre arquitectura de microservicios y contar con experiencia con sistemas distribuidos y procesamiento asíncrono (colas de mensajes, retry patterns, idempotency).
* Poseer conocimientos sólidos en Go y/o Python, y capacidad de aprender otros, así como tener conocimiento de diseño de APIs, RESTful y buenas prácticas de desarrollo (SOLID, clean architecture, design patterns, etc).
* Poseer conocimiento de bases de datos relacionales y no relacionales.
* Estar familiarizado con LLMs y sus APIs (GPT, Gemini, Claude u otros)
* Es un plus tener experiencia con frameworks de evaluación, LLM-as-judge u observabilidad de sistemas con LLMs, haber trabajado con plataformas de IA y/o desarrollo de agentes y tener conocimientos de análisis de datos y estadística aplicada (SQL, BigQuery, diseño de experimentos).
¿Te animás a dejar huella en la tecnología de América Latina?
¡Postulate y sumate a nuestro propósito!
Modalidad de trabajo híbrido. Site Buenos Aires, Argentina
Machine Learning / AI Engineer jobs in the United States · All Mercadolibre jobs · Senior Machine Learning / AI Engineer jobs in the United States · Senior and manager-level jobs in Caba, Arkansas · Senior roles at Mercadolibre