Quelle IA répond le mieux aux questions comptables et fiscales ?

Pourquoi ce benchmark ?

Les IA généralistes progressent rapidement mais leurs performances restent très variables en comptabilité.

Nous comparons régulièrement les principaux modèles afin de mesurer leurs performances sur des questions comptables réelles et dans des conditions identiques.

Analyse des données comptables

Nous évaluons la capacité des principaux LLM à analyser un fichier des écritures comptables et à produire des conclusions exactes, complètes et vérifiables.

Les mêmes questions sont soumises à Luca et aux principaux LLM utilisés seuls, à partir du ou des FEC fournis.

Contrairement à un LLM généraliste, Luca n’impose aucune limite au nombre de lignes du FEC transmis : grâce à ses outils spécialisés, il analyse l’intégralité des écritures sans sacrifier la profondeur ni la fiabilité de l’analyse.

Accès aux connaissances / analyse et production de livrables

Nous évaluons la capacité des principaux LLM à répondre à des questions comptables, fiscales, sociales et juridiques, et à produire des réponses exactes, complètes et sourcées.

Les mêmes questions sont soumises à Luca, aux principaux LLM utilisés seuls et à d’autres outils spécialisés du marché.

Contrairement à un LLM généraliste, Luca ne se limite pas à ses connaissances d’entraînement : il enrichit chaque réponse de sources comptables, fiscales et sociales officielles, pour des réponses plus fiables et traçables.

Chiffres clés

Analyse des données comptables

Luca comparé à la moyenne du meilleur modèle de chacun des 3 meilleurs fournisseurs de LLM évalués (Anthropic, OpenAI, Google), sur les mêmes 10 questions d’analyse FEC.

+34,8 pts

de score moyen face aux meilleurs LLM

Luca obtient 98,3 / 100, contre 63,6 / 100 en moyenne pour les meilleurs LLM.

7× moins

de faits attendus manquants

11 faits attendus manquants au total avec Luca, contre 84 en moyenne pour les meilleurs LLM.

0

erreur numérique

0 erreurs numériques au total avec Luca, contre 13 en moyenne pour les meilleurs LLM.

9/10

questions mieux traitées

Luca obtient un meilleur score que la moyenne des meilleurs LLM sur 9 des 10 questions d’analyse FEC.

13 solutions évaluées · 10 questions d’analyse FEC · 3 générations par question

Accès aux connaissances / analyse et production de livrables

Luca comparé à la moyenne du meilleur modèle de chacun des 3 meilleurs fournisseurs de LLM évalués (OpenAI, Anthropic, Google), sur les mêmes 150 questions.

5× moins

d’erreurs majeures

4,2 % des réponses de Luca contiennent une erreur majeure, contre 23,9 % en moyenne pour les meilleurs LLM.

+8,0 pts

de score moyen face aux meilleurs LLM

Luca obtient 71,3 / 100, contre 63,3 / 100 en moyenne pour les meilleurs LLM.

44 %

de réponses quasi parfaites

Questions notées en moyenne 8/10 ou plus, contre 31 % en moyenne pour les meilleurs LLM.

77 %

de réponses justes à chaque essai

Questions réussies (≥ 5/10) sur les 3 générations, contre 57 % en moyenne pour les meilleurs LLM.

N°1

en fiscalité, comptabilité, social/paie et droit des sociétés

Fiscalité69,3 vs 58,4
Comptabilité77,7 vs 74,0
Social/paie69,4 vs 59,4
Droit des sociétés65,6 vs 59,5

17 solutions évaluées · 150 questions comptables et fiscales · 3 générations par question

Résultats

Analyse des données comptables

Scores moyens d’analyse FEC (sur 100)

Plus le score est élevé, meilleures sont les réponses formulées sur l’analyse. Les résultats sont recalculés sur un périmètre strictement identique.

Luca obtient le meilleur score d’analyse FEC tout en réduisant les faits attendus manquants et les erreurs numériques.

Accès aux connaissances / analyse et production de livrables

Scores moyens par modèle (sur 100)

Plus le score est élevé, meilleures sont les réponses formulées par le modèle. Les résultats sont calculés sur un périmètre strictement identique.

Sur l’ensemble des modèles testés, Luca améliore systématiquement la qualité des réponses tout en réduisant les erreurs les plus critiques.

Comment interpréter les résultats ?

Score moyen: Qualité moyenne des réponses, notée sur 100 à partir d’une grille de correction propre à chaque question (pour l’analyse FEC, grille détaillée sur 10 points ramenée sur 100). Plus = mieux.
Luca: Réponses produites par Luca, qui s’appuie sur une combinaison des meilleurs LLM du marché pour chaque problématique, les enrichit de sources comptables, fiscales et sociales officielles et, pour l’analyse FEC, les combine à des méthodes d’analyse déterministes propres à ComptaSecure.
LLM: Modèle d’IA généraliste (OpenAI GPT, Anthropic Claude, Google Gemini…) interrogé directement, sans sources ni outils spécialisés. Pour l’analyse FEC, il reçoit directement le ou les FEC et la question.
Outils tiers: Autres solutions spécialisées du marché, utilisées telles qu’elles sont proposées à leurs utilisateurs.
Erreurs majeures: Accès aux connaissances : part des réponses comportant une erreur technique ou réglementaire importante. Moins = mieux.
Faits attendus manquants: Analyse FEC : nombre total d’informations attendues absentes des réponses. Moins = mieux.
Erreurs numériques: Analyse FEC : nombre total d’écarts sur les valeurs numériques explicitement évaluées par la grille. Les chiffres annexes sans impact sur la notation sont exclus. Moins = mieux.
N/A: Le LLM utilisé seul ne peut pas traiter les FEC fournis, par exemple parce que sa fenêtre de contexte est trop petite.
Écart: Dans les tableaux détaillés, différence avec le meilleur résultat obtenu par Luca.

Pourquoi Luca obtient-il de meilleurs résultats ?

Luca est une IA générative sécurisée conçue pour les professionnels du chiffre. Enrichie par un corpus de sources comptables, fiscales et sociales officielles, elle renforce les principaux LLM du marché afin d’améliorer la fiabilité et la traçabilité des réponses.

Luca ne se contente pas d’interroger un LLM :

Il sélectionne automatiquement le modèle le plus adapté ;
Il enrichit les réponses avec des sources comptables et fiscales fiables ;
Il combine son analyse avec des méthodes d’analyse déterministes propres à ComptaSecure (analyse FEC) ;
Il applique des traitements spécialisés ;
Il garantit la confidentialité des données grâce à une infrastructure sécurisée en France.

Résultats détaillés

Résultats détaillés du benchmark Analyse Comptable

Pour chaque modèle, comparaison du score moyen, des faits attendus manquants et des erreurs numériques avec Luca.

Modèle	Score moyenPlus = mieux	Faits manquantsMoins = mieux	Erreurs numériquesMoins = mieux
Luca Juge : GPT‑6.1-Sol	98,3 —	11 —	0 —
Anthropic Claude Opus 5.5 Juge : GPT‑6.1-Sol	71,2 −27,1 pts	78 +67	10 +10
Anthropic Claude Opus 5 Juge : GPT‑6.1-Sol	66,0 −32,3 pts	80 +69	24 +24
OpenAI GPT-6.1 Sol Juge : GPT‑6.1-Sol	59,8 −38,5 pts	85 +74	13 +13
Google Gemini 3.8 Flash Juge : GPT‑6.1-Sol	59,7 −38,7 pts	90 +79	17 +17
OpenAI GPT-5.6 Sol Juge : GPT‑6.1-Sol	56,0 −42,3 pts	103 +92	4 +4
OpenAI GPT-5.6 Terra Juge : GPT‑6.1-Sol	52,2 −46,2 pts	102 +91	1 +1
Anthropic Claude Opus 4.8 Juge : GPT‑6.1-Sol	45,8 −52,5 pts	110 +99	14 +14
OpenAI GPT-6 Luna Juge : GPT‑6.1-Sol	44,3 −54,0 pts	123 +112	4 +4
Mistral Large 4.0 Juge : GPT‑6.1-Sol	43,3 −55,0 pts	113 +102	24 +24
OpenAI GPT-5.6 Luna Juge : GPT‑6.1-Sol	40,0 −58,3 pts	127 +116	6 +6
OpenAI GPT-5.4 Juge : GPT‑6.1-Sol	38,4 −59,9 pts	119 +108	7 +7
Mistral Large 3	N/A · Fenêtre de contexte trop petite

Résultats détaillés du benchmark Accès aux Connaissances

Pour chaque modèle, comparaison du score moyen et du taux d’erreurs majeures avec Luca.

#	Évaluation	Questions	Score moyenPlus = mieux	Erreurs majeuresMoins = mieux
1	Luca Raisonnement : medium · Juge : GPT‑6.1-Sol	150	71,3—	4,2—
2	OpenAI GPT-6.1 Sol Raisonnement : medium · Juge : GPT‑6.1-Sol	150	70,9−0,5 pts	4,4+0,2 pts
3	OpenAI GPT-5.6 Sol Raisonnement : medium · Juge : GPT‑6.1-Sol	150	67,3−4,0 pts	14,4+10,2 pts
4	Anthropic Claude Opus 5.5 Raisonnement : medium · Juge : GPT‑6.1-Sol	150	64,8−6,5 pts	28,9+24,7 pts
5	Anthropic Claude Opus 5 Raisonnement : medium · Juge : GPT‑6.1-Sol	150	63,0−8,3 pts	33,1+28,9 pts
6	OpenAI GPT-6 Luna Raisonnement : medium · Juge : GPT‑6.1-Sol	150	60,0−11,3 pts	10,2+6,0 pts
7	OpenAI GPT-5.6 Terra Raisonnement : medium · Juge : GPT‑6.1-Sol	150	59,2−12,1 pts	24,9+20,7 pts
8	OpenAI GPT-5.6 Luna Raisonnement : medium · Juge : GPT‑6.1-Sol	150	58,2−13,2 pts	24,0+19,8 pts
9	Google Gemini 3.8 Flash Raisonnement : medium · Juge : GPT‑6.1-Sol	150	54,3−17,0 pts	38,2+34,0 pts
10	GenIA-L Raisonnement : medium · Juge : GPT‑6.1-Sol	150	54,1−17,3 pts	34,0+29,8 pts
11	Anthropic Claude Opus 4.8 Raisonnement : medium · Juge : GPT‑5.5	150	50,0−21,3 pts	27,3+23,1 pts
12	Google Gemini 3.5 Flash Raisonnement : medium · Juge : GPT‑5.5	150	47,9−23,4 pts	37,6+33,3 pts
13	OpenAI GPT-5.4 Raisonnement : medium · Juge : GPT‑5.5	150	47,1−24,2 pts	24,9+20,7 pts
14	DeepSeek V4 Flash Raisonnement : medium · Juge : GPT‑5.5	100	38,9−32,4 pts	37,2+33,0 pts
15	OpenAI GPT-4.1 Raisonnement : medium · Juge : GPT‑5.5	50	35,0−36,3 pts	30,0+25,8 pts
16	Mistral Large 3 Raisonnement : medium · Juge : GPT‑5.5	150	29,4−41,9 pts	54,7+50,4 pts
17	Mistral Large 4 Raisonnement : medium · Juge : GPT‑6.1-Sol	150	24,6−46,7 pts	88,0+83,8 pts

Note méthodologique

Analyse des données comptables

Les résultats portent sur 10 questions d’analyse de FEC, avec 3 générations par question. Luca utilise son environnement spécialisé d’analyse comptable. Les LLM utilisés seuls reçoivent le ou les FEC nécessaires et la question correspondante. Toutes les réponses sont évaluées à partir de la même grille détaillée sur 10 points.

Questions couvertes

Q1 · charges récurrentesQ2 · chiffre d'affairesQ3 · équilibre du FECQ4 · immobilisations potentiellesQ5 · assurancesQ6 · résultat comptableQ7 · TVA fournisseursQ8 · séquence des factures clientsQ9 · déclarations de TVAQ10 · comparaison clients N-1/N

Accès aux connaissances / analyse et production de livrables

Les résultats sont obtenus à partir d’un jeu de questions comptables élaboré par ComptaSecure. Les modèles sont testés dans des conditions identiques afin de garantir une comparaison équitable.