Rôle IA · Offre ouverte

LLM Evaluation Engineer — quality & safety

OpenAI

Temps plein
Senior
Model behavior
Hybrid
3180 18th Street, San Francisco, CA 94110, United States · Hybrid
San Francisco, United States
USD 175k–240k + equity

Cette annonce est pensée pour les profils IA : compétences et outils clairs pour savoir si le poste correspond avant de postuler — et pour réduire les mauvais matchs au screening.

4 compétences2 outils

En bref

Modalités de travail, lieu et dates clés de l’annonce.

Type d’emploi: Temps plein
Lieu de travail: Hybrid
Localisation: 3180 18th Street, San Francisco, CA 94110, United States · Hybrid
Rémunération: USD 175k–240k + equity
Niveau d’expérience: Senior
Équipe: Model behavior
Avantages

À propos du poste

Ce que l’équipe cherche et comment le rôle s’inscrit dans l’organisation.

OpenAI is hiring a Senior LLM Evaluation Engineer — quality & safety on the Model behavior team (Hybrid · San Francisco, United States). This is a hands-on role in LLM & generative AI—not a generic “AI enthusiast” post.

You will own LLM features, retrieval, agents, and evaluation end to end: problem framing, offline evaluation, safe rollout, and iteration from production signals. Success is measured with clear metrics (quality, latency, cost, or business KPIs)—not slide decks alone.

OpenAI ships frontier models and ChatGPT product surfaces from San Francisco.

LLM Evaluation Engineer: golden sets, automated graders, red-team coverage, and release gates for model and product quality.

Missions

Build regression suites that catch capability and safety regressions before launch.
Partner with research and product on metrics that map to user outcomes.

Stack & environment

Python, PyTorch, Jupyter, internal eval platforms.

What we look for

Eval ownership on LLMs or ML systems; clear written communication.

Compétences recherchées

Ce que chaque compétence implique pour ce poste — pas une simple liste de mots-clés.

Python
Production Python for data pipelines, model code, APIs, and automated tests—not notebook-only workflows.
PyTorch
Training and inference with PyTorch: reproducible experiments, checkpointing, and deployment-minded exports.
NLP

Outils & stack

Plateformes et produits mentionnés pour ce rôle (API, IDE, bases vectorielles, CRM, design, etc.).

DockerTool
Containerized services and reproducible dev environments for ML and LLM workloads.
JupyterTool
Regular use of Jupyter in the LLM & generative AI stack—configuration, debugging, and team conventions.

Vous êtes un bon profil si…

Adapté à cette annonce — utilisez ces points pour vérifier votre adéquation avant de postuler.

You can show evidence in your application: Describe an eval suite you owned (golden sets, regression gates, red team).
Several of these show up in recent shipped work—not only on your CV: Python, PyTorch, NLP, Machine Learning, and Docker.
You have owned LLM features, retrieval, agents, and evaluation in production: debugging live issues, running postmortems, and iterating from real user or business signals.
You are comfortable with the hybrid rhythm (Hybrid · San Francisco, United States)—onsite collaboration when it matters, deep work when remote.
You explain trade-offs (quality, cost, latency, safety) in plain language—with numbers or examples, not buzzwords.

Postuler

Comptes candidats uniquement : ajoutez votre accroche et bio dans , et éventuellement un lien ou PDF de CV pour que les recruteurs voient votre CV complet. Puis rédigez une courte note — les candidatures utilisent l’e-mail de votre compte.

Ce que l’employeur demande

Describe an eval suite you owned (golden sets, regression gates, red team).

Connectez-vous avec un compte candidat pour postuler

Inscrivez-vous, ajoutez une accroche et une bio, puis vous pourrez joindre un lien ou un PDF de CV dans Mon compte avant de postuler. Vos candidatures restent liées à votre profil et les employeurs voient plus facilement votre parcours.

Se connecter Créer un compte candidat

Suggestions

Profils IA qui pourraient vous intéresser

Profils classés par recoupement avec les compétences et outils de ce poste — utile si vous recrutez une équipe ou comparez des profils.

Pas encore de profils proches dans l’annuaire — essayez avec vos propres filtres.

Offres similaires

D’autres annonces partageant compétences ou outils — utile pour des stacks comparables ou des options de repli.

LLM Evaluation Engineer — quality & safety

Profils IA qui pourraient vous intéresser

Offres similaires

NLP Engineer — language understanding & LLM product

ML Research Intern — BenevolentAI internship

ML Engineer — OpenAI ecosystem (Toronto)

Research Engineer — InstaDeep careers Tunis

Senior NLP Engineer — translation & LLMs