Faut-il interroger deux fournisseurs de modèles différents pour une même tâche critique, comparer leurs réponses, puis choisir la plus fiable ? Ou un seul fournisseur, correctement configuré, suffit-il déjà pour la plupart des usages rencontrés en pratique ? Ce comparatif ne traite pas du coût cumulé de cette approche, déjà évident à énoncer, mais de la fiabilité réellement obtenue et de la complexité qu’elle introduit.
Il s’appuie sur l’observation de deux approches mises en place sur des tâches jugées sensibles : une classification de demandes de remboursement pouvant déclencher une action financière, et une extraction d’informations réglementaires à partir de documents fournisseurs.
Le choix d’un seul fournisseur, avec vérifications propres
Dans cette approche, un seul modèle traite la tâche, mais sa sortie passe par des vérifications automatisées indépendantes du modèle lui-même : format de réponse conforme à un schéma strict, cohérence entre plusieurs champs de la réponse, valeurs dans une plage plausible. Ces vérifications capturent une part significative des erreurs sans jamais nécessiter un second appel de modèle.
Le double appel avec comparaison des réponses
Dans cette seconde approche, la même tâche est soumise à deux fournisseurs différents, et une règle explicite compare les deux réponses obtenues : accord total, la réponse est retenue ; désaccord, la tâche est orientée vers une relecture humaine plutôt que vers un choix arbitraire entre les deux réponses.
| Critère | Un seul fournisseur | Deux fournisseurs avec vote |
|---|---|---|
| Temps de réponse | Simple, un seul appel | Doublé, appels en parallèle possibles |
| Coût par tâche traitée | Coût d’un appel | Coût de deux appels, quel que soit l’accord obtenu |
| Erreurs isolées à un seul modèle | Non détectées sans vérification externe | Détectées par désaccord entre les deux réponses |
| Erreurs partagées par les deux modèles | Non détectées | Non détectées non plus, le vote ne les révèle pas |
Ce que le vote détecte, et ce qu’il ne détecte pas
Sur le cas de classification de demandes de remboursement, le désaccord entre les deux modèles est apparu sur environ un cas sur vingt, presque toujours sur des demandes réellement ambiguës où une relecture humaine se serait également interrogée. Le vote a donc correctement orienté ces cas limites vers une vérification humaine, sans réduire le volume de relecture nécessaire de façon spectaculaire, la majorité des demandes restant traitées de façon identique par les deux modèles.
En revanche, sur un biais partagé par les deux modèles testés, comme une tendance commune à mal interpréter un format de date ambigu présent dans certains documents fournisseurs, le vote n’a rien détecté : les deux modèles se sont trompés de la même façon, produisant un accord qui masquait l’erreur plutôt que de la révéler.
- Le vote entre deux modèles détecte les erreurs propres à un seul des deux, jamais celles partagées par les deux.
- Une règle explicite de départage doit exister avant la mise en place, pas être improvisée au premier désaccord rencontré.
- Le désaccord doit orienter vers une relecture humaine, jamais vers un choix arbitraire entre les deux réponses.
Quand cette complexité supplémentaire se justifie
Sur les deux cas observés, le double appel avec vote ne s’est révélé pertinent que pour la tâche de classification de demandes de remboursement, où une erreur isolée pouvait directement déclencher une action financière incorrecte. Pour l’extraction d’informations réglementaires, les vérifications automatisées appliquées à un seul fournisseur ont capturé une proportion d’erreurs suffisamment proche du double appel pour ne pas justifier le coût et la complexité supplémentaires sur ce cas précis.
Comparer deux modèles ne remplace jamais une vérification de la réponse elle-même : cela ajoute seulement une seconde opinion, utile uniquement quand les deux opinions ont des chances raisonnables de diverger sur les erreurs qui comptent.
En résumé
Interroger deux fournisseurs de modèles et comparer leurs réponses réduit certaines erreurs isolées à un seul modèle, au prix d’un coût et d’un temps de réponse doublés, sans jamais protéger contre un biais partagé par les deux modèles interrogés. Cette complexité supplémentaire ne se justifie que pour les tâches où une erreur isolée aurait une conséquence directe et difficilement réversible ; pour les autres, des vérifications automatisées appliquées à un seul fournisseur suffisent le plus souvent.
