Sur le papier, le RAG paraît simple : on indexe des documents, on cherche les passages pertinents à chaque question, on les donne au modèle, il répond. Un prototype se monte en quelques jours, et la démonstration est souvent impressionnante. Puis viennent les vraies questions des utilisateurs, les documents mal rangés, les versions qui se contredisent, et la confiance s’effrite.

Nous avons déjà expliqué quand choisir le RAG plutôt que le fine-tuning. Cet article va plus loin : il décrit, étape par étape, ce qui fait la différence entre un prototype de RAG et un assistant documentaire sur lequel une équipe peut réellement s’appuyer.

Tout commence par les documents

La qualité d’un RAG est plafonnée par la qualité de sa base documentaire. Avant d’indexer quoi que ce soit, nous faisons un inventaire avec les équipes métier : quelles sources font foi, lesquelles sont obsolètes, qui en est responsable.

  • Écarter les versions périmées : une ancienne procédure indexée à côté de la nouvelle, c’est la garantie de réponses contradictoires.
  • Désigner une source de référence quand plusieurs documents traitent du même sujet.
  • Convertir proprement : un PDF scanné, un tableau mal extrait ou un en-tête répété sur chaque page dégradent la recherche. L’extraction du texte mérite autant d’attention que le reste.

Découper en respectant la structure

Un modèle ne reçoit pas des documents entiers, mais des fragments. La façon de découper ces fragments a un impact direct sur la qualité des réponses. Le découpage le plus courant, par blocs de taille fixe, est aussi le plus risqué : il coupe une règle en deux, sépare un tableau de son titre, isole une exception de la règle qu’elle concerne.

Nous découpons en suivant la structure du document : titres, sections, articles, questions-réponses. Chaque fragment garde le titre de sa section et le nom de son document, pour rester compréhensible isolément. Pour les contenus très longs, un léger chevauchement entre fragments évite de perdre le contexte aux frontières. Il n’existe pas de taille idéale universelle : elle se règle sur le type de document et se valide par des tests.

Les métadonnées et les droits d’accès

Chaque fragment indexé porte des informations utiles : document source, date, version, service propriétaire, type de contenu, langue. Ces métadonnées servent à filtrer la recherche (uniquement les documents en vigueur, uniquement le périmètre d’un pays ou d’une gamme) et à afficher des citations claires.

Elles servent surtout à respecter les droits d’accès. Un assistant interne ne doit jamais devenir un raccourci vers des documents qu’un utilisateur n’a pas le droit de consulter. Le filtrage par droits doit se faire au moment de la recherche, avant que le moindre fragment ne soit transmis au modèle, et non en demandant au modèle de « ne pas mentionner » certaines informations.

Un RAG ne doit jamais savoir plus de choses que la personne qui lui pose la question.

Une recherche hybride, puis un tri

La recherche dite sémantique, par vecteurs, retrouve des passages proches par le sens, même quand les mots diffèrent. Elle est précieuse, mais elle a un point faible : les termes exacts. Un numéro de contrat, une référence produit, un sigle interne ou un nom propre sont souvent mieux retrouvés par une recherche classique par mots-clés.

Nous combinons donc les deux : recherche par mots-clés et recherche vectorielle, dont les résultats sont fusionnés. Vient ensuite une étape de reranking, qui réévalue les meilleurs candidats au regard de la question précise et ne garde que les plus pertinents. Envoyer au modèle cinq passages réellement utiles vaut beaucoup mieux qu’en envoyer vingt dont la moitié sont du bruit.

Des citations vérifiables

Chaque réponse doit indiquer les documents sur lesquels elle s’appuie, avec un lien permettant de les ouvrir. C’est ce qui permet aux utilisateurs de vérifier, et donc d’avoir confiance. Nous vérifions aussi automatiquement que les sources citées font bien partie des passages fournis au modèle, pour détecter une citation inventée.

Savoir dire « je n’ai pas trouvé »

Un assistant fiable est un assistant qui reconnaît ses limites. Quand la recherche ne remonte rien de suffisamment pertinent, la bonne réponse n’est pas une réponse approximative, mais un message clair : l’information n’a pas été trouvée dans la base, avec une suggestion pour aller plus loin (reformuler, contacter le service concerné). Ce comportement se configure : seuil de pertinence en dessous duquel on ne répond pas, consigne explicite, format de réponse qui prévoit ce cas.

Ces questions sans réponse sont aussi une mine d’information : elles montrent les trous de la documentation, à combler en priorité.

Un index vivant

La documentation change. Un RAG qui n’est pas synchronisé avec ses sources finit par répondre avec des informations périmées, ce qui est pire que de ne pas répondre. L’index doit suivre le cycle de vie des documents : ajout d’un nouveau document, mise à jour d’une version, et surtout suppression. Quand une procédure est retirée, tous ses fragments doivent disparaître de l’index. C’est aussi une exigence du RGPD quand des données personnelles sont concernées.

Concrètement, nous mettons en place une synchronisation automatique avec les espaces documentaires sources, et un suivi de ce qui a été indexé, quand, et depuis quelle version.

Un jeu d’évaluation dès le départ

Avant de régler quoi que ce soit, nous constituons avec les équipes un jeu de questions représentatives, avec pour chacune la réponse attendue et le document qui la contient. On y ajoute des questions hors périmètre et des questions dont la réponse n’existe pas dans la base. Ce jeu permet de mesurer séparément deux choses : la recherche a-t-elle trouvé le bon passage ? Et le modèle en a-t-il tiré la bonne réponse ? Sans cette distinction, on ne sait pas quoi corriger.

Un exemple concret

Une entreprise de services veut un assistant pour ses équipes support, à partir de plusieurs centaines de fiches de procédure et de conditions contractuelles. Le premier prototype, monté rapidement, donne de bonnes réponses en démonstration, mais confond régulièrement des offres aux noms proches et cite parfois une ancienne grille de conditions.

La version déployée reprend chaque étape : les anciennes versions sont retirées de la base, les fiches sont découpées par section avec leur titre, chaque fragment porte l’offre concernée et sa date de validité. La recherche combine mots-clés et vecteurs, ce qui règle la confusion entre références d’offres, et un reranking ne garde que les meilleurs passages. Chaque réponse cite sa fiche source, et l’assistant renvoie vers un référent quand il ne trouve rien. Le jeu d’évaluation, rejoué à chaque modification, permet de vérifier que les corrections n’en cassent pas d’autres.

Notre recommandation

Le modèle de langage n’est qu’une pièce d’un système RAG, et rarement celle qui pose problème. Investissez d’abord dans la base documentaire, le découpage, les droits d’accès et l’évaluation. C’est moins spectaculaire qu’un changement de modèle, mais c’est là que se joue la fiabilité, et donc l’usage réel par vos équipes.