← Retour aux évaluations

DeepSeek V4 Flash

Exécution LUCA preprod Deepseek V4 Flash sur 100 questions avec 1 génération par question.
100 questions × 1 génération

En un coup d’œil

DeepSeek V4 Flash obtient un score moyen de 55.6/100.

Il produit une erreur technique grave sur 31 question(s) sur 100.

86 question(s) sur 100 ont obtenu au moins un peu de points, 14 sont des échecs complets (score nul).

Ses meilleures performances sont sur le thème conformité (96.0/100), ses plus faibles sur droit des sociétés (40.3/100).

Indicateurs clés

Score moyen
55.6/100
Moyenne sur 100 question(s). Chaque question est notée de 0 à 10, ramenée ici sur 100.
Réponses non nulles
86.0%
86 question(s) sur 100 ont obtenu au moins un peu de points.
Erreurs majeures
31.0%
31 question(s) sur 100 contiennent une erreur technique grave.
Questions
100
Nombre de questions posées au modèle.
Temps moyen par réponse
138.8 s
Le modèle met ~138.8 s en moyenne pour produire une réponse.
Longueur moyenne de réponse
941 mots
~941 mots en moyenne par réponse sur 100 question(s).

Avec Luca vs Sans Luca

Avec Luca, le modèle gagne 16.7 points sur le score moyen.

Avec Luca, le taux d’erreurs majeures est réduit de 6.2 points.

Score moyen
Avec Luca55.6/100
Sans Luca38.9/100
+16.7 pts grâce à Luca
Erreurs majeures
Avec Luca31.0%
Sans Luca37.2%
+6.2 pts grâce à Luca
Réponses non nulles
Avec Luca86.0%
Sans Luca100.0%
−14.0 pts grâce à Luca

Classement par thème

Meilleur thème conformité (96.0/100) · Plus faible droit des sociétés (40.3/100)

Score moyen par thème

conformitéconformité96.0%comptabilitécomptabilité62.5%social/payesocial/paye55.3%fiscalitéfiscalité53.5%droit des sociétésdroit des sociétés40.3%

Échecs complets vs réponses utiles

Sur 100 question(s), 14 ont reçu un score nul (échec complet), " 86 ont obtenu au moins un peu de points.

14.0 nul
86.0 non nul
Détails de la distribution des scores

Répartition des notes attribuées par le juge (de 0 à 10). Permet de voir si le modèle obtient beaucoup de notes moyennes, ou si tout se joue aux extrêmes (succès complets vs échecs francs).

Distribution des scores (sur 10)

0.0-1.0151.0-2.012.0-3.023.0-4.084.0-5.0175.0-6.066.0-7.077.0-8.0138.0-9.0139.0-10.018