← Retour aux évaluations

OpenAI GPT-5.4

Exécution LUCA preprod de référence sur 100 questions avec 1 génération par question.
100 questions × 1 génération

En un coup d’œil

OpenAI GPT-5.4 obtient un score moyen de 57.7/100.

Il produit une erreur technique grave sur 18 question(s) sur 100.

89 question(s) sur 100 ont obtenu au moins un peu de points, 11 sont des échecs complets (score nul).

Ses meilleures performances sont sur le thème conformité (82.0/100), ses plus faibles sur droit des sociétés (37.3/100).

Indicateurs clés

Score moyen
57.7/100
Moyenne sur 100 question(s). Chaque question est notée de 0 à 10, ramenée ici sur 100.
Réponses non nulles
89.0%
89 question(s) sur 100 ont obtenu au moins un peu de points.
Erreurs majeures
18.0%
18 question(s) sur 100 contiennent une erreur technique grave.
Questions
100
Nombre de questions posées au modèle.
Temps moyen par réponse
50.0 s
Le modèle met ~50.0 s en moyenne pour produire une réponse.
Longueur moyenne de réponse
656 mots
~656 mots en moyenne par réponse sur 100 question(s).

Avec Luca vs Sans Luca

Avec Luca, le modèle gagne 8.9 points sur le score moyen.

Avec Luca, le taux d’erreurs majeures est réduit de 6.0 points.

Score moyen
Avec Luca57.7/100
Sans Luca48.8/100
+8.9 pts grâce à Luca
Erreurs majeures
Avec Luca18.0%
Sans Luca24.0%
+6.0 pts grâce à Luca
Réponses non nulles
Avec Luca89.0%
Sans Luca88.0%
+1.0 pts grâce à Luca

Classement par thème

Meilleur thème conformité (82.0/100) · Plus faible droit des sociétés (37.3/100)

Score moyen par thème

Avec LucaSans Lucaconformitéconformité82.0%70.0%social/payesocial/paye75.0%36.0%comptabilitécomptabilité62.8%60.9%fiscalitéfiscalité56.4%42.3%droit des sociétésdroit des sociétés37.3%39.0%

Échecs complets vs réponses utiles

Sur 100 question(s), 11 ont reçu un score nul (échec complet), " 89 ont obtenu au moins un peu de points.

11.0 nul
89.0 non nul
Détails de la distribution des scores

Répartition des notes attribuées par le juge (de 0 à 10). Permet de voir si le modèle obtient beaucoup de notes moyennes, ou si tout se joue aux extrêmes (succès complets vs échecs francs).

Distribution des scores (sur 10)

0.0-1.0121.0-2.022.0-3.043.0-4.044.0-5.0135.0-6.076.0-7.0147.0-8.0198.0-9.0109.0-10.015