Los modelos de embedding tienen una ventana de contexto fija. La mayoría acepta 512 tokens (aproximadamente 400 palabras). Algunos aceptan 8,192 tokens. Ninguno acepta un documento completo de 50 páginas como entrada. Para embeber un documento largo, debe dividirlo en chunks que quepan en la ventana de contexto del modelo.
El chunking ingenuo -- dividir cada 500 caracteres sin importar el contenido -- produce embeddings terribles. Un chunk que comienza en medio de una oración y termina en medio de un bloque de código no tiene significado coherente.
La función chunk_text() de FLIN es consciente de la estructura del documento. Divide texto en límites semánticos: saltos de párrafo, límites de encabezados, delimitadores de bloques de código y finales de oración. El resultado son chunks que cada uno representa una sola idea coherente, produciendo embeddings enfocados que recuperan con precisión.
La función chunk_text()
flinchunks = chunk_text(text, {
max_size: 500, // Máximo de caracteres por chunk
overlap: 50, // Caracteres de solapamiento entre chunks
strategy: "semantic" // "fixed", "paragraph", "semantic", "code"
})Estrategias de chunking
Tamaño fijo La estrategia más simple. Divide en límites de caracteres exactos. Use solo para texto no estructurado.
Consciente de párrafos Divide en límites de párrafo (dobles saltos de línea), manteniendo los párrafos intactos cuando sea posible.
Semántico (predeterminado) La estrategia más sofisticada. Respeta encabezados, párrafos, listas y límites semánticos naturales con una jerarquía de prioridad: 1. Nunca dividir en medio de un bloque de código. 2. Preferir dividir en encabezados. 3. Preferir dividir en límites de párrafos. 4. Preferir dividir en límites de oraciones. 5. Como último recurso, dividir en límites de palabras.
Consciente de código Una estrategia especializada para código fuente y documentación técnica con contenido pesado de código.
El chunking es el puente entre documentos crudos y embeddings buscables. Si se hace mal, el sistema RAG retorna resultados irrelevantes independientemente de cuán bueno sea el modelo de embedding o el LLM.
Esta es la Parte 122 de la serie "Cómo construimos FLIN", que documenta cómo un CEO en Abidjan y un CTO de IA diseñaron y construyeron un lenguaje de programación desde cero.
Navegación de la serie: - [121] Análisis de documentos: PDF, DOCX, CSV, JSON, YAML - [122] Chunking consciente del código para RAG (estás aquí) - [123] Búsqueda híbrida de documentos: BM25 + semántica - [124] Diseño de lenguaje AI-first