Méthode de mesure · campagne conçue, non tirée
Comment ELYSÉA est mesuré
Campagne non tirée : aucun résultat publié. Le protocole sera préenregistré avant le premier tir.
Quatre bras, un seul modèle
Bras A
Modèle seul — le modèle, sans couche ajoutée
Bras B
Consigne de sûreté de rédaction interne
Bras C
ELYSÉA CERVEAU — le même modèle, à travers le cerveau
Bras D
Consigne de sûreté rédigée par un modèle tiers (OpenAI) sur commande d’ELYSÉA, commande et texte publiés
Panel de jugement — 3 juges actifs, tous non-Anthropic
| Juge | Modèle | Fournisseur | Hébergeur |
|---|---|---|---|
| J-3 | qwen3-235b-a22b-instruct-2507 | Qwen (Alibaba) | Scaleway (Paris) |
| J-4 | mistral-large-2512 | Mistral | Mistral |
| J-5 | deepseek-v4-flash-0731 | DeepSeek | Scaleway (Paris) |
Périmètre et règles de validation
- Campagne de mesure (conçue, non tirée) : français et anglais — France, États-Unis, Royaume-Uni, Irlande, Canada, Australie et Nouvelle-Zélande.
- Nombre de cas : fixé par le plan préenregistré (à venir).
- Juges : Aucun juge n’est encore validé ; validation sur les réponses réelles du pilote.
- Seuils de calibration des juges, règles de validation, nombre de tirs et règle d'invalidation : fixés par le plan préenregistré (à venir).
- Version du cerveau : la campagne est conçue pour relever la version servie (GET /healthz → champ sha) avant le premier tir et la consigner avec les résultats.
Conflits d'intérêts déclarés
ELYSÉA conçoit le bras C et mesure son propre produit
Le modèle des quatre bras est fourni par Anthropic
La consigne du bras B est rédigée par ELYSÉA
Reproductibilité
Les dépôts de code et de mesure sont privés aujourd'hui. Un dépôt public est prévu avec le DOI : protocole, corpus, grilles, sorties brutes et résultats, favorables ou non.