OpenAI GPT-5.6 Sol

Exécutions GPT-5.6 Sol avec et sans LUCA sur 150 questions avec 3 générations par question.

Raisonnement : medium · Juge : GPT‑5.5

En un coup d’œil

OpenAI GPT-5.6 Sol obtient un score moyen de 66.3/100.

Il produit une erreur technique grave sur 88 question(s) sur 450.

416 question(s) sur 450 ont obtenu au moins un peu de points, 34 sont des échecs complets (score nul).

Ses meilleures performances sont sur le thème conformité (95.0/100), ses plus faibles sur droit des sociétés (55.2/100).

Indicateurs clés

Score moyen

66.3/100

Moyenne sur 150 question(s). Chaque question est notée de 0 à 10, ramenée ici sur 100.

Réponses non nulles

92.4%

139 question(s) sur 150 ont obtenu au moins un peu de points.

Erreurs majeures

19.6%

29 question(s) sur 150 contiennent une erreur technique grave.

Questions

150

Nombre de questions posées au modèle.

Temps moyen par réponse

67.2 s

Le modèle met ~67.2 s en moyenne pour produire une réponse.

Longueur moyenne de réponse

525 mots

~525 mots en moyenne par réponse sur 150 question(s).

Avec Luca et LLM utilisé seul (sans environnement Luca)

Avec Luca, le modèle gagne 7.4 points sur le score moyen.

Avec Luca, le taux d’erreurs majeures est réduit de 1.1 points.

Score moyen

Avec Luca66.3/100

LLM seul58.9/100

+7.4 pts grâce à Luca

Erreurs majeures

Avec Luca19.6%

LLM seul20.7%

+1.1 pts grâce à Luca

Réponses non nulles

Avec Luca92.4%

LLM seul89.6%

+2.9 pts grâce à Luca

Classement par thème

Meilleur thème conformité (95.0/100) · Plus faible droit des sociétés (55.2/100)

Score moyen par thème

Échecs complets vs réponses utiles

Sur 450 question(s), 34 ont reçu un score nul (échec complet), " 416 ont obtenu au moins un peu de points.

7.6 nul

92.4 non nul

Détails de la distribution des scores

Répartition des notes attribuées par le juge (de 0 à 10). Permet de voir si le modèle obtient beaucoup de notes moyennes, ou si tout se joue aux extrêmes (succès complets vs échecs francs).