Rol IA · Oferta abierta

LLM Evaluation Engineer — quality & safety

OpenAI

Tiempo completo
Senior
Model behavior
Hybrid
3180 18th Street, San Francisco, CA 94110, United States · Hybrid
San Francisco, United States
USD 175k–240k + equity

Este anuncio está pensado para talento nativo en IA: habilidades y herramientas claras para saber si encajas antes de aplicar — y para reducir descartes por desajuste.

4 habilidades2 herramientas

De un vistazo

Cómo trabajarás, dónde y fechas clave del anuncio.

Empleo: Tiempo completo
Modalidad: Hybrid
Ubicación: 3180 18th Street, San Francisco, CA 94110, United States · Hybrid
Compensación: USD 175k–240k + equity
Nivel de experiencia: Senior
Equipo: Model behavior
Beneficios

Sobre el rol

Qué busca el equipo y cómo encaja el puesto.

OpenAI is hiring a Senior LLM Evaluation Engineer — quality & safety on the Model behavior team (Hybrid · San Francisco, United States). This is a hands-on role in LLM & generative AI—not a generic “AI enthusiast” post.

You will own LLM features, retrieval, agents, and evaluation end to end: problem framing, offline evaluation, safe rollout, and iteration from production signals. Success is measured with clear metrics (quality, latency, cost, or business KPIs)—not slide decks alone.

OpenAI ships frontier models and ChatGPT product surfaces from San Francisco.

LLM Evaluation Engineer: golden sets, automated graders, red-team coverage, and release gates for model and product quality.

Missions

Build regression suites that catch capability and safety regressions before launch.
Partner with research and product on metrics that map to user outcomes.

Stack & environment

Python, PyTorch, Jupyter, internal eval platforms.

What we look for

Eval ownership on LLMs or ML systems; clear written communication.

Habilidades que buscamos

Qué implica cada capacidad en este rol — no solo una lista de palabras clave.

Python
Production Python for data pipelines, model code, APIs, and automated tests—not notebook-only workflows.
PyTorch
Training and inference with PyTorch: reproducible experiments, checkpointing, and deployment-minded exports.
NLP

Herramientas y stack

Plataformas y productos mencionados para este rol (APIs, IDEs, BBDD vectoriales, CRM, diseño, etc.).

DockerTool
Containerized services and reproducible dev environments for ML and LLM workloads.
JupyterTool
Regular use of Jupyter in the LLM & generative AI stack—configuration, debugging, and team conventions.

Encajas muy bien si…

Adaptado a esta oferta — úsalo para comprobar tu encaje antes de aplicar.

You can show evidence in your application: Describe an eval suite you owned (golden sets, regression gates, red team).
Several of these show up in recent shipped work—not only on your CV: Python, PyTorch, NLP, Machine Learning, and Docker.
You have owned LLM features, retrieval, agents, and evaluation in production: debugging live issues, running postmortems, and iterating from real user or business signals.
You are comfortable with the hybrid rhythm (Hybrid · San Francisco, United States)—onsite collaboration when it matters, deep work when remote.
You explain trade-offs (quality, cost, latency, safety) in plain language—with numbers or examples, not buzzwords.

Aplicar

Solo cuentas candidato: añade tu titular y bio en , y opcionalmente un enlace o PDF de CV para que los reclutadores vean tu CV completo. Luego escribe un breve pitch — las candidaturas usan el correo de tu cuenta.

Lo que pide la empresa

Describe an eval suite you owned (golden sets, regression gates, red team).

Inicia sesión con cuenta candidato para aplicar

Regístrate, añade titular y bio; luego podrás adjuntar enlace o PDF de CV en Mi cuenta antes de aplicar. Así las candidaturas quedan ligadas a tu perfil.

Iniciar sesión Crear cuenta candidato

Sugerencias

Talento IA que podría interesarte

Perfiles ordenados por solape con habilidades y herramientas de este rol — útil si contratas equipo o comparas candidatos.

Aún no hay coincidencias cercanas en el directorio — prueba con tus filtros.

Ofertas similares

Otros anuncios que comparten habilidades o herramientas — útil para stacks comparables o alternativas.

LLM Evaluation Engineer — quality & safety

Talento IA que podría interesarte

Ofertas similares

NLP Engineer — language understanding & LLM product

ML Research Intern — BenevolentAI internship

ML Engineer — OpenAI ecosystem (Toronto)

Research Engineer — InstaDeep careers Tunis

Senior NLP Engineer — translation & LLMs