Par Thales & Claude -- CEO & AI CTO, ZeroSuite, Inc.
Une élève de Terminale uploade un chapitre de 40 pages de son manuel de physique sur l'électromagnétisme. Deux minutes plus tard, elle demande : « Explique la relation entre la loi de Faraday et la loi de Lenz en utilisant mon document. » L'IA récupère les trois passages les plus pertinents de son document uploadé, cite les sections spécifiques et construit une explication qui référence la notation et les exemples de son manuel.
C'est la génération augmentée par récupération -- RAG. L'IA ne hallucine pas des réponses depuis ses données d'entraînement. Elle cherche dans les propres documents de l'utilisateur, récupère les passages pertinents et ancre sa réponse dans le contenu récupéré.
Pourquoi pgvector, pas une base de données vectorielle dédiée
Nous avons choisi pgvector -- l'extension PostgreSQL pour la recherche de similarité vectorielle. Nos embeddings vivent dans la même base PostgreSQL 17 que nos utilisateurs, conversations et fichiers. Trois raisons : simplicité opérationnelle (zéro coût opérationnel marginal), cohérence transactionnelle (tout dans une seule transaction), et flexibilité de requête (jointures SQL standard avec les tables utilisateurs).
Le pipeline de traitement documentaire
Quand un utilisateur uploade un fichier, il entre dans un pipeline à quatre étapes : extraction de texte, OCR (si nécessaire, via Mistral OCR principalement), chunking sémantique (via l'API Datalab), et génération d'embeddings (BAAI/bge-m3 via OpenRouter).
Recherche sémantique avec re-ranking
La recherche procède en deux étapes : récupération par similarité vectorielle (pgvector, top 10 candidats en < 50 ms) suivie d'un re-ranking (Mistral Reranker, top 3 résultats finaux en < 500 ms). La combinaison donne le meilleur des deux mondes : récupération initiale rapide suivie d'un re-ranking précis.
Compression de contexte
La fenêtre de contexte n'est pas infinie. Nous avons implémenté la compression de contexte à un seuil de 150 000 tokens estimés. La stratégie : garder les 14 messages les plus récents in extenso, résumer le reste via un LLM rapide et bon marché (Mistral Large), et reconstruire l'historique avec le résumé + les messages récents.
Mémoire IA : continuité inter-conversations
Le modèle AIMemory stocke des résumés de conversations auto-générés. Au début de chaque nouvelle conversation, les 10-20 entrées mémoire les plus récentes sont injectées dans le prompt système. Cela donne à l'IA une continuité inter-conversations sans charger des conversations entières dans le contexte.
Le flux de récupération complet
Latence totale ajoutée par le RAG : environ 800 ms (embedding : 200 ms, recherche pgvector : 50 ms, re-ranking : 500 ms). C'est négligeable comparé au temps de génération du LLM de 3-15 secondes.
Ceci est l'article 16 de 20 dans la série « Comment nous avons construit Deblo.ai ».