Tester Luca

← Retour aux évaluations

OpenAI GPT-6.1 Sol

Exécutions GPT-6.1 Sol en direct sans Luca sur 150 questions avec 3 générations par question.
Raisonnement : medium · Juge : GPT‑6.1-Sol

En un coup d’œil

OpenAI GPT-6.1 Sol obtient un score moyen de 70,9/100.

Il produit une erreur technique grave sur 20 question(s) sur 450.

444 question(s) sur 450 ont obtenu au moins un peu de points, 6 sont des échecs complets (score nul).

Ses meilleures performances sont sur le thème conformité (79,2/100), ses plus faibles sur fiscalité (66,7/100).

Indicateurs clés

Score moyen
70,9/100
Moyenne sur 150 question(s). Chaque question est notée de 0 à 10, ramenée ici sur 100.
Réponses non nulles
98,7%
148 question(s) sur 150 ont obtenu au moins un peu de points.
Erreurs majeures
4,4%
7 question(s) sur 150 contiennent une erreur technique grave.
Questions
150
Nombre de questions posées au modèle.
Temps moyen par réponse
28,3 s
Le modèle met ~28,3 s en moyenne pour produire une réponse.
Longueur moyenne de réponse
454 mots
~454 mots en moyenne par réponse sur 150 question(s).

Classement par thème

Meilleur thème conformité (79,2/100) · Plus faible fiscalité (66,7/100)

Score moyen par thème

conformitéconformité79,2%comptabilitécomptabilité77,8%social/payesocial/paye71,1%droit des sociétésdroit des sociétés68,0%fiscalitéfiscalité66,7%

Échecs complets vs réponses utiles

Sur 450 question(s), 6 ont reçu un score nul (échec complet), " 444 ont obtenu au moins un peu de points.

1,3 nul
98,7 non nul
Détails de la distribution des scores

Répartition des notes attribuées par le juge (de 0 à 10). Permet de voir si le modèle obtient beaucoup de notes moyennes, ou si tout se joue aux extrêmes (succès complets vs échecs francs).

Pass@k

@1@183,8%@2@288,2%

Distribution des scores (sur 10)

0,0-1,061,0-2,0102,0-3,0203,0-4,0124,0-5,0255,0-6,0376,0-7,0527,0-8,0688,0-9,0989,0-10,0122