← Retour aux évaluations

Claude Opus 4.6

Ancien moteur d’évaluation web converti au format verifier.
50 questions × ancien moteur

En un coup d’œil

Claude Opus 4.6 obtient un score moyen de 52.3/100.

Il produit une erreur technique grave sur 17 question(s) sur 50.

42 question(s) sur 50 ont obtenu au moins un peu de points, 8 sont des échecs complets (score nul).

Ses meilleures performances sont sur le thème comptabilité (58.6/100), ses plus faibles sur fiscalité (18.8/100).

Indicateurs clés

Score moyen
52.3/100
Moyenne sur 50 question(s). Chaque question est notée de 0 à 10, ramenée ici sur 100.
Réponses non nulles
84.0%
42 question(s) sur 50 ont obtenu au moins un peu de points.
Erreurs majeures
34.0%
17 question(s) sur 50 contiennent une erreur technique grave.
Questions
50
Nombre de questions posées au modèle.
Temps moyen par réponse
s
Durée moyenne de génération de chaque réponse par le modèle.
Longueur moyenne de réponse
mots
Longueur moyenne des réponses produites, en mots.

Avec Luca vs Sans Luca

Avec Luca, le modèle gagne 8.6 points sur le score moyen.

Avec ou sans Luca, le taux d’erreurs majeures est équivalent.

Score moyen
Avec Luca52.3/100
Sans Luca43.7/100
+8.6 pts grâce à Luca
Erreurs majeures
Avec Luca34.0%
Sans Luca34.0%
équivalent
Réponses non nulles
Avec Luca84.0%
Sans Luca78.0%
+6.0 pts grâce à Luca

Classement par thème

Meilleur thème comptabilité (58.6/100) · Plus faible fiscalité (18.8/100)

Score moyen par thème

Avec LucaSans Lucacomptabilitécomptabilité58.6%50.6%social/payesocial/paye49.3%51.7%droit des sociétésdroit des sociétés44.4%28.0%fiscalitéfiscalité18.8%15.0%

Échecs complets vs réponses utiles

Sur 50 question(s), 8 ont reçu un score nul (échec complet), " 42 ont obtenu au moins un peu de points.

16.0 nul
84.0 non nul
Détails de la distribution des scores

Répartition des notes attribuées par le juge (de 0 à 10). Permet de voir si le modèle obtient beaucoup de notes moyennes, ou si tout se joue aux extrêmes (succès complets vs échecs francs).

Distribution des scores (sur 10)

0.0-1.091.0-2.012.0-3.033.0-4.034.0-5.055.0-6.056.0-7.027.0-8.078.0-9.089.0-10.07