Tester Luca

← Retour aux évaluations

DeepSeek V4 Flash

Exécution Luca preprod Deepseek V4 Flash sur 100 questions avec 1 génération par question.
Raisonnement : medium · Juge : GPT‑5.5

En un coup d’œil

DeepSeek V4 Flash obtient un score moyen de 38,9/100.

Il produit une erreur technique grave sur 0 question(s) sur 1.

Toutes les questions ont reçu une réponse notée au-dessus de zéro.

Ses meilleures performances sont sur le thème dummy (38,9/100), ses plus faibles sur dummy (38,9/100).

Indicateurs clés

Score moyen
38,9/100
Moyenne sur 100 question(s). Chaque question est notée de 0 à 10, ramenée ici sur 100.
Réponses non nulles
100,0%
100 question(s) sur 100 ont obtenu au moins un peu de points.
Erreurs majeures
37,2%
37 question(s) sur 100 contiennent une erreur technique grave.
Questions
100
Nombre de questions posées au modèle.
Temps moyen par réponse
— s
Durée moyenne de génération de chaque réponse par le modèle.
Longueur moyenne de réponse
— mots
Longueur moyenne des réponses produites, en mots.

Classement par thème

Meilleur thème dummy (38,9/100) · Plus faible dummy (38,9/100)

Score moyen par thème

dummydummy38,9%

Échecs complets vs réponses utiles

Sur 1 question(s), 0 ont reçu un score nul (échec complet), " 1 ont obtenu au moins un peu de points.

0,0 nul
100,0 non nul
Détails de la distribution des scores

Répartition des notes attribuées par le juge (de 0 à 10). Permet de voir si le modèle obtient beaucoup de notes moyennes, ou si tout se joue aux extrêmes (succès complets vs échecs francs).

Distribution des scores (sur 10)

0,0-1,001,0-2,002,0-3,003,0-4,014,0-5,005,0-6,006,0-7,007,0-8,008,0-9,009,0-10,00