Un élève ouvre l'application lundi et dit à l'IA qu'il a du mal avec les fractions. L'IA le guide à travers le concept, donne des exemples, génère un quiz. L'élève répond correctement à 3 questions sur 5. Il ferme l'application.
Mercredi, l'élève ouvre une nouvelle conversation : « Aide-moi avec mes maths. » Si l'IA n'a pas de mémoire, elle repart de zéro.
C'est le comportement par défaut de chaque API LLM. Chaque appel est sans état. Nous avons résolu cela avec deux systèmes complémentaires : la mémoire IA (résumés inter-conversations) et la compression de contexte (gestion des tokens intra-conversation).
Le modèle AIMemory
Chaque conversation terminée génère une entrée mémoire : un titre (4-10 mots) et un contenu (2-4 phrases, maximum 200 mots). C'est tout ce dont l'IA a besoin pour se rappeler ce qui s'est passé dans une conversation précédente.
Auto-résumé : fire-and-forget
Quand une conversation se termine, le backend lance une tâche de résumé asynchrone. C'est fire-and-forget : jamais bloquant pour l'utilisateur. Si le résumé échoue, l'échec est journalisé silencieusement. Le coût est d'environ 0,00005 $ par résumé -- essentiellement gratuit.
L'outil save_memory
Au-delà du résumé automatique, l'IA peut explicitement sauvegarder des entrées mémoire pendant la conversation : « Cet élève a du mal avec les fractions mais est fort en géométrie. » L'IA utilise cet outil quand elle identifie des informations qui devraient être mémorisées explicitement.
Chargement de la mémoire : contexte inter-conversations
Au début de chaque nouvelle conversation, le processus d'assemblage du prompt système charge les entrées AIMemory récentes (actuellement 10) et les injecte dans le contexte. L'IA peut alors répondre : « La dernière fois, tu avais des difficultés avec la multiplication de fractions. Tu veux qu'on continue avec ça ? »
Compression de contexte : le seuil de 150K tokens
Quand l'estimation de tokens de la conversation dépasse 150 000 tokens, nous compressons : garder les 14 messages les plus récents in extenso, résumer le reste, et reconstruire l'historique. Le seuil de 150K a été choisi empiriquement : au-delà, nous avons observé une latence accrue et des problèmes occasionnels de cohérence.
L'équation des coûts
- Résumé mémoire : ~0,00005 $ par résumé. À 1 000 conversations/jour : 1,50 $/mois.
- Chargement mémoire : ~1 500-3 000 tokens par démarrage de conversation. Négligeable.
- Compression de contexte : économise 100K-200K tokens par message suivant dans les longues conversations. Le ROI est de 5 600x à 11 200x.
Les maths sont sans ambiguïté. La mémoire et la compression ne sont pas juste des fonctionnalités -- ce sont des optimisations de coûts.
Ce que l'IA « se souvient »
Au début de toute conversation, l'IA connaît : les résumés de conversations précédentes, les notes explicitement sauvegardées, les fichiers uploadés, l'historique de conversation actuel (possiblement compressé), le statut des tâches, et les résultats d'exercices historiques.
Ce n'est pas de la vraie mémoire au sens humain. C'est du contexte reconstruit -- assemblé à chaque début de conversation depuis des enregistrements en base de données. Mais du point de vue de l'utilisateur, l'effet est le même. L'IA se souvient.
Ceci est l'article 19 de 20 dans la série « Comment nous avons construit Deblo.ai ».