Tester Luca

← Retour aux évaluations

Anthropic Claude Opus 5

Exécution Claude Opus 5 en direct sans Luca sur 150 questions avec 3 générations par question.
Raisonnement : medium · Juge : GPT‑6.1-Sol

En un coup d’œil

Anthropic Claude Opus 5 obtient un score moyen de 63,0/100.

Il produit une erreur technique grave sur 149 question(s) sur 450.

419 question(s) sur 450 ont obtenu au moins un peu de points, 31 sont des échecs complets (score nul).

Ses meilleures performances sont sur le thème comptabilité (74,6/100), ses plus faibles sur social/paye (57,1/100).

Indicateurs clés

Score moyen
63,0/100
Moyenne sur 150 question(s). Chaque question est notée de 0 à 10, ramenée ici sur 100.
Réponses non nulles
93,1%
140 question(s) sur 150 ont obtenu au moins un peu de points.
Erreurs majeures
33,1%
50 question(s) sur 150 contiennent une erreur technique grave.
Questions
150
Nombre de questions posées au modèle.
Temps moyen par réponse
96,5 s
Le modèle met ~96,5 s en moyenne pour produire une réponse.
Longueur moyenne de réponse
973 mots
~973 mots en moyenne par réponse sur 150 question(s).

Classement par thème

Meilleur thème comptabilité (74,6/100) · Plus faible social/paye (57,1/100)

Score moyen par thème

comptabilitécomptabilité74,6%conformitéconformité74,3%droit des sociétésdroit des sociétés63,2%fiscalitéfiscalité57,1%social/payesocial/paye57,1%

Échecs complets vs réponses utiles

Sur 450 question(s), 31 ont reçu un score nul (échec complet), " 419 ont obtenu au moins un peu de points.

6,9 nul
93,1 non nul
Détails de la distribution des scores

Répartition des notes attribuées par le juge (de 0 à 10). Permet de voir si le modèle obtient beaucoup de notes moyennes, ou si tout se joue aux extrêmes (succès complets vs échecs francs).

Pass@k

@1@162,9%@2@274,9%

Distribution des scores (sur 10)

0,0-1,0331,0-2,062,0-3,0133,0-4,0194,0-5,0965,0-6,0106,0-7,0167,0-8,0578,0-9,0839,0-10,0117