« Quel est le meilleur modèle ? » C’est une question que l’on nous pose très souvent, et à laquelle il n’existe pas de réponse unique. Les classements publics changent tous les quelques mois, chaque fournisseur annonce régulièrement une nouvelle version, et le modèle qui domine un comparatif général n’est pas forcément le meilleur pour classer vos tickets de support ou résumer vos contrats.

La bonne question est plutôt : quel modèle fait le mieux votre travail, dans vos contraintes ? Cet article présente les critères que nous utilisons pour trancher, et explique pourquoi la capacité à changer de modèle compte presque autant que le choix initial.

Les grandes familles de modèles

Sans entrer dans le détail des versions, qui évoluent trop vite pour être citées dans un article durable, le paysage actuel s’organise autour de quelques familles :

  • Les modèles d’OpenAI, accessibles par API ou via de grands clouds, avec une gamme allant de modèles très capables à des versions plus légères et plus rapides.
  • Les modèles Claude d’Anthropic, également proposés en plusieurs tailles, par API ou via des plateformes cloud.
  • Les modèles de Mistral, un acteur européen qui propose des modèles hébergés en Europe ainsi que des modèles ouverts.
  • Les modèles ouverts, dont les poids sont publiés et qui peuvent être hébergés sur votre propre infrastructure ou chez un hébergeur de votre choix.

Chaque famille propose en général un modèle « haut de gamme » et des modèles plus petits. Ce choix de taille est souvent plus déterminant pour votre projet que le choix du fournisseur.

Les critères qui comptent vraiment

  • La qualité sur votre tâche : un modèle peut exceller en raisonnement complexe et n’apporter aucun gain sur une tâche simple de classification. Ce qui compte, c’est sa performance sur vos cas réels, pas son rang dans un classement général.
  • La latence : pour un assistant utilisé en direct par un client ou un conseiller, quelques secondes d’attente font une vraie différence. Pour un traitement de nuit, c’est secondaire.
  • Le coût d’usage : les modèles sont facturés au volume de texte traité. Un grand modèle peut coûter nettement plus cher qu’un petit pour le même travail, et cet écart se multiplie avec le volume.
  • La taille de contexte : la quantité de texte que le modèle peut prendre en compte en une fois. Utile pour analyser de longs documents, mais un grand contexte ne remplace pas une bonne recherche documentaire.
  • La confidentialité et l’hébergement : conditions contractuelles, non-réutilisation des données, région d’hébergement, possibilité d’auto-hébergement. Pour des données sensibles, ce critère peut éliminer d’emblée certaines options.
  • La dépendance au fournisseur : plus votre système est construit autour des spécificités d’un fournisseur, plus il sera coûteux d’en changer le jour où un meilleur modèle, une meilleure offre ou une contrainte réglementaire l’imposera.
Le meilleur modèle n’est pas celui qui gagne les classements. C’est celui qui fait votre travail, au bon niveau de qualité, au bon coût, dans vos contraintes.

Petit ou grand modèle ?

Le réflexe est souvent de prendre le modèle le plus puissant disponible, « pour être sûr ». C’est rarement le bon calcul. Beaucoup de tâches d’entreprise (classer, extraire des champs, reformuler, résumer un texte court) sont très bien traitées par des modèles plus petits, plus rapides et moins chers.

Une approche efficace consiste à combiner plusieurs modèles dans un même système : un petit modèle pour les étapes simples et volumineuses, un grand modèle réservé aux étapes qui demandent un raisonnement plus poussé. C’est souvent là que se trouvent les gains de coût et de rapidité les plus importants.

Tester sur vos propres cas

La seule façon fiable de choisir est de comparer les candidats sur un jeu de test construit à partir de vos données réelles : quelques dizaines à quelques centaines d’exemples représentatifs, avec les réponses attendues, y compris des cas difficiles et des cas pièges.

On fait passer ce même jeu de test à chaque modèle candidat, avec les mêmes consignes, et on compare la qualité des réponses, le temps de réponse et le coût estimé au volume réel. Ce travail prend quelques jours, mais il remplace des semaines de débats sur la base d’impressions ou de comparatifs génériques. Et il resservira à chaque fois qu’un nouveau modèle sortira.

Garder la possibilité de changer

Le marché des modèles évolue vite : de nouvelles versions sortent régulièrement, les tarifs bougent, certains modèles sont retirés. Un système bien conçu doit pouvoir changer de modèle sans être réécrit.

  • Une couche d’abstraction : l’application appelle une interface interne, qui elle-même appelle le fournisseur. Changer de modèle revient alors à modifier une configuration, pas le code métier.
  • Des consignes et des formats de sortie portables : éviter de dépendre de fonctionnalités propres à un seul fournisseur quand une alternative standard existe.
  • Le jeu de test comme filet de sécurité : avant tout changement de modèle, on rejoue le jeu de test pour vérifier que la qualité est au moins équivalente.

Un exemple concret

Une entreprise de services veut automatiser l’analyse des demandes reçues par formulaire : identifier le type de demande, extraire les informations clés, puis rédiger une première réponse pour les cas les plus complexes. Le premier prototype utilise un grand modèle pour tout.

Le jeu de test montre que la classification et l’extraction sont aussi bien réalisées par un petit modèle, plus rapide et beaucoup moins coûteux au volume. Le grand modèle n’est conservé que pour la rédaction des réponses complexes, qui ne concernent qu’une partie des demandes. Comme certaines demandes contiennent des données personnelles, l’entreprise retient pour les deux étapes des offres sous contrat avec hébergement européen. Le tout passe par une couche d’abstraction : quelques mois plus tard, un nouveau modèle plus performant est testé et adopté en une journée, sans toucher au reste du système.

Notre recommandation

Ne choisissez pas un modèle sur sa réputation : choisissez-le sur vos données. Commencez par définir vos contraintes non négociables (confidentialité, hébergement, latence), construisez un jeu de test représentatif, comparez deux ou trois candidats, et retenez le plus petit modèle qui atteint le niveau de qualité requis. Puis construisez votre système de façon à pouvoir en changer facilement : dans ce domaine, le bon choix d’aujourd’hui ne sera probablement pas celui de l’an prochain.