L'IA en Comptabilité : Comparatif Luca vs LLM généralistes
Résultats sur un ensemble de questions comptables difficiles, représentant les questions que se posent les professionnels du chiffre.
Que mesurent ces chiffres ?
- Score moyen
- Sur 100, c’est la note moyenne obtenue par le modèle sur l’ensemble des questions (chaque question est notée de 0 à 10, ramenée ici sur 100).
- Sans Luca
- Le même modèle, mais interrogé directement, sans l’environnement Luca. Sert de point de comparaison.
- Réponses non nulles
- Part des questions ayant obtenu au moins un peu de points (sinon, c’est un échec complet).
- Erreurs majeures
- Part des questions contenant une erreur technique grave (faux fondement juridique, calcul completement faux, etc.).
Classement
Classement par score moyen (sur 100)
Plus le score est élevé, meilleure est la performance. Les étiquettes « Sans Luca » représentent le même modèle interrogé directement, pour comparaison.
En moyenne, Luca améliore le score de 8.8 pts / 100 et réduit les erreurs majeures de 2.7 points.
Comparaison détaillée
Pour chaque modèle, comparaison du score moyen et du taux d’erreurs majeures avec et sans l’environnement Luca.
| # | Évaluation | Questions | Score moyenPlus = mieux | Erreurs majeuresMoins = mieux | ||
|---|---|---|---|---|---|---|
| Avec Luca | Sans Luca | Avec Luca | Sans Luca | |||
| 1 | OpenAI GPT-5.5 100 questions × 1 génération |
100 | 59.1 |
56.8−2.4 pts |
20.0 |
18.7−1.3 pts |
| 2 | OpenAI GPT-5.4 100 questions × 1 génération |
100 | 57.7 |
48.8−8.9 pts |
18.0 |
24.0+6.0 pts |
| 3 | DeepSeek V4 Flash 100 questions × 1 génération |
100 | 55.6 |
38.9−16.7 pts |
31.0 |
37.2+6.2 pts |
| 4 | Claude Opus 4.6 50 questions × ancien moteur |
50 | 52.3 |
43.7−8.6 pts |
34.0 |
34.0±0,0 pts |
| 5 | OpenAI GPT-4.1 50 questions × ancien moteur |
50 | 42.7 |
35.0−7.7 pts |
32.0 |
30.0−2.0 pts |
| 6 | Zhipu GLM 5.2 10 questions × 3 générations |
10 | 29.3 |
20.5−8.8 pts |
36.7 |
44.0+7.3 pts |