Vous pouvez découper du texte en morceaux. Vous pouvez générer des embeddings à partir de texte. Mais connecter ces deux opérations -- de manière fiable, efficace et avec un suivi approprié des métadonnées -- est là où la plupart des implémentations RAG s'effondrent. La session 222 a construit la couche d'intégration qui comble ce fossé. Neuf nouvelles fonctions, 19 tests et un pipeline complet de bout en bout qui prend des octets bruts de document et produit des vecteurs indexés et recherchables en un seul appel de fonction.
La fonction la plus puissante, ingest_document, prend des octets bruts de document et produit des vecteurs stockés et indexés : extraire, découper, embedder, stocker et retourner le nombre. L'appelant fournit les octets et les métadonnées ; la fonction gère tout le reste.
Quand une application FLIN sauvegarde une entité avec un champ semantic text, le runtime déclenche le pipeline complet automatiquement. Le développeur n'appelle jamais une fonction de découpage, ne gère jamais d'embeddings et n'interagit jamais directement avec le magasin de vecteurs.
Ceci est la partie 131 de la série « Comment nous avons construit FLIN », documentant comment un CEO à Abidjan et un CTO IA ont conçu et construit un langage de programmation à partir de zéro.
Navigation de la série : - [130] Stratégies de découpage de texte - [131] Intégration chunk-embedding (vous êtes ici) - [132] Extraction de texte depuis CSV, XLSX, RTF et XML