Mistral Large 4
Exécutions Mistral Large 4 en direct sans Luca sur 150 questions avec 3 générations par question.
En un coup d’œil
Mistral Large 4 obtient un score moyen de 24,6/100.
Il produit une erreur technique grave sur 396 question(s) sur 450.
304 question(s) sur 450 ont obtenu au moins un peu de points, 146 sont des échecs complets (score nul).
Ses meilleures performances sont sur le thème conformité (40,0/100), ses plus faibles sur social/paye (17,2/100).
Indicateurs clés
Score moyen
24,6/100
Moyenne sur 150 question(s). Chaque question est notée de 0 à 10, ramenée ici sur 100.
Réponses non nulles
67,6%
101 question(s) sur 150 ont obtenu au moins un peu de points.
Erreurs majeures
88,0%
132 question(s) sur 150 contiennent une erreur technique grave.
Questions
150
Nombre de questions posées au modèle.
Temps moyen par réponse
79,2 s
Le modèle met ~79,2 s en moyenne pour produire une réponse.
Longueur moyenne de réponse
652 mots
~652 mots en moyenne par réponse sur 150 question(s).
Classement par thème
Meilleur thème conformité (40,0/100) · Plus faible social/paye (17,2/100)
Score moyen par thème
Échecs complets vs réponses utiles
Sur 450 question(s), 146 ont reçu un score nul (échec complet), " 304 ont obtenu au moins un peu de points.
32,4 nul
67,6 non nul
Détails de la distribution des scores
Répartition des notes attribuées par le juge (de 0 à 10). Permet de voir si le modèle obtient beaucoup de notes moyennes, ou si tout se joue aux extrêmes (succès complets vs échecs francs).