PDF et DOCX captent toute l'attention dans les discussions sur l'analyse de documents. Mais le monde réel fonctionne avec des tableurs, des traitements de texte hérités et des flux XML. Un cabinet comptable SYSCOHADA téléverse des balances en fichiers Excel. Une équipe juridique échange des brouillons en RTF. Un agrégateur d'actualités ingère des flux RSS en XML.
Le pipeline d'extraction de documents de FLIN devait gérer tout cela. Les sessions 228, 230 et 231 ont ajouté quatre nouveaux analyseurs de format -- CSV, XLSX, RTF et XML -- portant le total des formats supportés à neuf.
CSV : données tabulaires comme texte recherchable
L'extraction convertit les lignes CSV en texte délimité par tabulations, préservant la structure tabulaire tout en produisant du texte que les modèles d'embedding peuvent traiter. L'analyseur gère les en-têtes, les champs entre guillemets, la détection d'encodage et la détection de délimiteur.
XLSX : classeurs multi-feuilles
Le défi clé avec XLSX est les classeurs multi-feuilles. FLIN extrait toutes les feuilles et étiquette chacune avec un en-tête de section. Les en-têtes de feuille agissent comme des marqueurs de section qui améliorent significativement la qualité de recherche pour les documents financiers.
RTF : texte enrichi sans les richesses
RTF est un format Microsoft de 1987 qui encode le formatage en mots de contrôle en texte brut. L'extraction supprime tout le formatage et retourne du texte brut.
XML : extraction alimentée par XPath
XML est le plus versatile des quatre formats. FLIN gère l'extraction générique de texte, les requêtes XPath 1.0, et la détection automatique de sous-types (RSS, Atom, SOAP, SVG, XHTML).
Neuf formats, un pipeline
| Format | Crate | Tests |
|---|---|---|
| Texte brut | (intégré) | 5 |
| Markdown | (intégré) | 5 |
| HTML | (intégré) | 12 |
| pdf-extract | 8 | |
| DOCX | docx-rs | 10 |
| CSV | csv | 12 |
| XLSX | calamine | 8 |
| RTF | rtf-parser | 22 |
| XML | roxmltree + sxd-xpath | 61 |
Total : 117 tests à travers tous les analyseurs de format. Le répartiteur unifié signifie qu'ajouter un nouveau format nécessite exactement trois changements.
Ceci est la partie 132 de la série « Comment nous avons construit FLIN », documentant comment un CEO à Abidjan et un CTO IA ont conçu et construit un langage de programmation à partir de zéro.
Navigation de la série : - [131] Intégration chunk-embedding - [132] Extraction de texte depuis CSV, XLSX, RTF et XML (vous êtes ici) - [133] Auto-conversion sémantique