Google Gemini 3.8 Flash

Exécutions Gemini 3.8 Flash en direct sans Luca sur 150 questions avec 3 générations par question.

Raisonnement : medium · Juge : GPT‑6.1-Sol

En un coup d’œil

Google Gemini 3.8 Flash obtient un score moyen de 54,3/100.

Il produit une erreur technique grave sur 172 question(s) sur 450.

388 question(s) sur 450 ont obtenu au moins un peu de points, 62 sont des échecs complets (score nul).

Ses meilleures performances sont sur le thème comptabilité (68,4/100), ses plus faibles sur droit des sociétés (44,2/100).

Indicateurs clés

Score moyen

54,3/100

Moyenne sur 150 question(s). Chaque question est notée de 0 à 10, ramenée ici sur 100.

Réponses non nulles

86,2%

129 question(s) sur 150 ont obtenu au moins un peu de points.

Erreurs majeures

38,2%

57 question(s) sur 150 contiennent une erreur technique grave.

Questions

150

Nombre de questions posées au modèle.

Temps moyen par réponse

21,2 s

Le modèle met ~21,2 s en moyenne pour produire une réponse.

Longueur moyenne de réponse

557 mots

~557 mots en moyenne par réponse sur 150 question(s).

Classement par thème

Meilleur thème comptabilité (68,4/100) · Plus faible droit des sociétés (44,2/100)

Score moyen par thème

Échecs complets vs réponses utiles

Sur 450 question(s), 62 ont reçu un score nul (échec complet), " 388 ont obtenu au moins un peu de points.

13,8 nul

86,2 non nul

Détails de la distribution des scores

Répartition des notes attribuées par le juge (de 0 à 10). Permet de voir si le modèle obtient beaucoup de notes moyennes, ou si tout se joue aux extrêmes (succès complets vs échecs francs).

Google Gemini 3.8 Flash

Indicateurs clés

Classement par thème

Score moyen par thème

Échecs complets vs réponses utiles

Pass@k

Distribution des scores (sur 10)