OpeningsFirst
How it worksPricingLog in
OpeningsFirst › Jobs in the United States › Jobs in Caba, Arkansas

Senior Software Engineer - Evals for Agents

Mercadolibre
CabaHybridSenior
Apply on Mercadolibre’s site
Posted 12 days ago. 643 more Machine Learning / AI Engineer jobs in the United States went up on company career pages this week. See the newer ones

Share this job on LinkedIn · X

Straight from the company’s own careers site.

The job in short

Building evaluations for AI agents.

PythonSQLBigQueryLLMLLMs

Details

Found
11 d ago · posted 2026-10-26
Location
CABA, AR

Full description

Como Senior Software Engineer Backend en Mercado Libre, diseñarás y escalarás sistemas innovadores y seguros que resuelven problemas reales y de alto impacto. Trabajarás en un entorno dinámico con tecnología de vanguardia, aplicando buenas prácticas de ingeniería, modelos de IA propios y aprendizaje continuo, con el propósito de democratizar el comercio electrónico y los servicios financieros en América Latina. Imagináte emprendiendo proyectos desafiantes, dinámicos e innovadores y siendo responsable de: * Evolucionar y mantener la plataforma de evaluación de agentes (online y offline evals) que usan los equipos de MELI que construyen agentes y desarrollar capabilities para entender la salud de los agentes en producción: métricas de calidad, detección de regresiones, observabilidad y alertas. * Construir herramientas de experimentación offline: replay de conversaciones reales, usuarios simulados y comparación de versiones de modelos, prompts y configuraciones. * Crear el ciclo de mejora continua de agentes para transformar los resultados de las evaluaciones en mejoras accionables para los equipos dueños de los agentes: selección de modelos por calidad y costo, ajustes de prompts, tools y flujos conversacionales. * Hacer que la plataforma sea simple de adoptar: APIs, CLI e integraciones con herramientas de desarrollo asistido por IA (Skills, MCPs). * Colaborar con equipos de producto, negocio y tecnología para traducir necesidades concretas en soluciones de impacto. Mantenerse actualizado/a sobre tendencias, modelos y buenas prácticas del ecosistema de IA generativa y evaluación de agentes, en un contexto de evolución constante. ¿Qué buscamos en vos? * Poseer conocimiento sobre arquitectura de microservicios y contar con experiencia con sistemas distribuidos y procesamiento asíncrono (colas de mensajes, retry patterns, idempotency). * Poseer conocimientos sólidos en Go y/o Python, y capacidad de aprender otros, así como tener conocimiento de diseño de APIs, RESTful y buenas prácticas de desarrollo (SOLID, clean architecture, design patterns, etc). * Poseer conocimiento de bases de datos relacionales y no relacionales. * Estar familiarizado con LLMs y sus APIs (GPT, Gemini, Claude u otros) * Es un plus tener experiencia con frameworks de evaluación, LLM-as-judge u observabilidad de sistemas con LLMs, haber trabajado con plataformas de IA y/o desarrollo de agentes y tener conocimientos de análisis de datos y estadística aplicada (SQL, BigQuery, diseño de experimentos). ¿Te animás a dejar huella en la tecnología de América Latina? ¡Postulate y sumate a nuestro propósito! Modalidad de trabajo híbrido. Site Buenos Aires, Argentina

Machine Learning / AI Engineer jobs in the United States · All Mercadolibre jobs · Senior Machine Learning / AI Engineer jobs in the United States · Senior and manager-level jobs in Caba, Arkansas · Senior roles at Mercadolibre

Get jobs like this every morning

Jobs in India · Jobs in the US · Who’s hiring in India · Who’s hiring in the US · How OpeningsFirst works · Free jobs widget · Leadership jobs in India · Leadership jobs in the US · Senior jobs in India · Senior jobs in the US · Fresher jobs in India · Entry-level jobs in the US · Remote jobs in the US · Jobs paying $150k+ · Leadership hiring this week · Guides
OpeningsFirst · Use with AI · Terms · Privacy · Refunds · Contact · Follow us on LinkedIn · X