Zhipu GLM 5.2

En un coup d’œil

Zhipu GLM 5.2 obtient un score moyen de 29.3/100.

Il produit une erreur technique grave sur 11 question(s) sur 30.

14 question(s) sur 30 ont obtenu au moins un peu de points, 16 sont des échecs complets (score nul).

Ses meilleures performances sont sur le thème comptabilité (41.1/100), ses plus faibles sur fiscalité (0.0/100).

Indicateurs clés

Score moyen

29.3/100

Moyenne sur 10 question(s). Chaque question est notée de 0 à 10, ramenée ici sur 100.

Réponses non nulles

46.7%

5 question(s) sur 10 ont obtenu au moins un peu de points.

Erreurs majeures

36.7%

4 question(s) sur 10 contiennent une erreur technique grave.

Questions

Nombre de questions posées au modèle.

Temps moyen par réponse

101.2 s

Le modèle met ~101.2 s en moyenne pour produire une réponse.

Longueur moyenne de réponse

591 mots

~591 mots en moyenne par réponse sur 10 question(s).

Avec Luca vs Sans Luca

Avec Luca, le modèle gagne 8.8 points sur le score moyen.

Avec Luca, le taux d’erreurs majeures est réduit de 7.3 points.

Score moyen

Avec Luca29.3/100

Sans Luca20.5/100

+8.8 pts grâce à Luca

Erreurs majeures

Avec Luca36.7%

Sans Luca44.0%

+7.3 pts grâce à Luca

Réponses non nulles

Avec Luca46.7%

Sans Luca100.0%

−53.3 pts grâce à Luca

Classement par thème

Meilleur thème comptabilité (41.1/100) · Plus faible fiscalité (0.0/100)

Score moyen par thème

Échecs complets vs réponses utiles

Sur 30 question(s), 16 ont reçu un score nul (échec complet), " 14 ont obtenu au moins un peu de points.

53.3 nul

46.7 non nul

Détails de la distribution des scores

Répartition des notes attribuées par le juge (de 0 à 10). Permet de voir si le modèle obtient beaucoup de notes moyennes, ou si tout se joue aux extrêmes (succès complets vs échecs francs).