Par Thales & Claude -- CEO & AI CTO, ZeroSuite, Inc.
Il y a un moment dans la vie de chaque produit éducatif où le texte ne suffit plus. Pour Deblo, ce moment est arrivé quand nous avons observé une élève de 9 ans à Abidjan essayer de taper une question de mathématiques. Elle savait ce qu'elle voulait demander -- elle pouvait l'articuler parfaitement en français parlé -- mais traduire cette pensée en texte tapé sur un petit écran de téléphone était une barrière que l'IA textuelle ne peut pas résoudre.
La voix était la réponse évidente. Pas des notes vocales transcrites et répondues de manière asynchrone, mais une conversation vocale en temps réel -- l'élève parle, l'IA écoute, réfléchit et répond. Un appel téléphonique avec un tuteur IA.
L'architecture : trois couches
Le système d'appels vocaux a trois couches distinctes :
- Backend Deblo (FastAPI) : crée la session, gère les crédits, stocke les transcriptions. C'est la couche d'orchestration.
- Ultravox : la plateforme IA vocale. Héberge le modèle de langage qui peut écouter et parler en temps réel.
- LiveKit : l'infrastructure de communication en temps réel. Fournit les rooms WebRTC, gère l'encodage/décodage audio.
Le flux : le backend Deblo crée un appel Ultravox, reçoit un joinUrl, le retourne au client. Le client se connecte à cette URL via WebRTC. L'audio circule entre l'utilisateur et le modèle vocal d'Ultravox.
Choix de configuration clés
firstSpeaker: FIRST_SPEAKER_AGENT: l'IA parle en premier quand l'élève rejoint. Elle le salue par son nom et demande comment elle peut aider. C'est important pour les enfants -- une IA silencieuse qui attend est déroutante ; une IA qui dit « Bonjour Aminata, comment puis-je t'aider ? » est accueillante.maxDuration: 900s: 15 minutes maximum par session. C'est une mesure de contrôle des coûts.languageHint: fr: le français est la langue principale.
Analyse photo pendant les appels vocaux
L'une des fonctionnalités vocales distinctives de Deblo est la possibilité de photographier un exercice pendant un appel. Un élève peut parler avec le tuteur IA, dire « attends, je vais te montrer l'exercice », et prendre une photo. L'IA analyse la photo et continue la conversation avec le contexte complet de l'image.
Le prompt de vision est spécifiquement conçu pour la sortie vocale : pas de formatage Markdown, pas de LaTeX, pas de listes à puces -- juste du français parlé simple qui sonne naturellement quand il est lu à voix haute par la voix IA.
Implémentation mobile : LiveKit + React Native
L'implémentation mobile est la partie la plus complexe du système vocal. Expo Go ne supporte pas les modules WebRTC natifs, donc les appels vocaux nécessitent un build natif. Nous utilisons @livekit/react-native pour la couche de transport audio.
Notes vocales style WhatsApp pour les utilisateurs Pro
Les utilisateurs professionnels n'ont pas accès aux appels vocaux complets, mais ils ont les notes vocales. L'audio enregistré est envoyé au backend comme pièce jointe encodée en base64. Le backend transcrit l'audio et l'intègre dans le contexte de la conversation. L'IA répond en texte, pas en voix, car les sorties professionnelles doivent être vérifiables et copiables.
Ce que nous avons appris sur l'IA vocale
- La voix-first change tout dans l'ingénierie de prompts. Les prompts pour modèles vocaux doivent explicitement interdire le Markdown, le LaTeX, les listes à puces et tout formatage qui ne se traduit pas en parole.
- Le premier interlocuteur compte. Faire parler l'IA en premier élimine le moment gênant « allô ? ça marche ? ».
- La photo pendant l'appel est un différenciateur. La possibilité de photographier un exercice en pleine conversation transforme la fonctionnalité vocale d'une nouveauté en un véritable outil d'apprentissage.
- 15 minutes est la bonne limite. Les appels longs sont coûteux et l'attention des élèves est limitée.
- Les builds natifs sont inévitables pour le WebRTC sur mobile.
Les appels vocaux sont, plus que toute autre fonctionnalité, ce qui fait que Deblo ressemble à un vrai tuteur plutôt qu'à un chatbot. Quand un élève parle à l'IA et que l'IA répond -- en français fluide et naturel, avec un ton encourageant et la patience d'expliquer le même concept de trois façons différentes -- la technologie disparaît. Ce qui reste, c'est un enfant qui apprend.
Ceci est l'article 8 de 20 dans la série « Comment nous avons construit Deblo.ai ».