Chasseur d'artefacts : le nouvel agent de MyMémoires
La v1 : deux agents et un récit qui tient la route
Pour la nouvelle mouture de MyMémoires, j'ai voulu muscler mon jeu de génération de biographie.
Jusqu'ici, l'orchestration reposait sur deux rôles. Un agent orchestrateur construisait la structure du récit. Un agent écrivain rédigeait ensuite les chapitres, un par un, en suivant ses consignes.
Pour chaque chapitre, l'orchestrateur lui fournissait le contenu brut à utiliser, lui indiquait le sujet à traiter, et surtout ce qu'il ne fallait pas aborder, pour éviter les répétitions d'un chapitre à l'autre.
Le résultat était de bonne qualité : un récit qui se tient, un fil compréhensible, pas de redites, et une histoire qui suit la vie de la personne de façon logique.
Des chapitres qui ne se parlent pas
Sauf qu'il restait un problème. Les chapitres s'enchaînaient les uns après les autres, sans vrai lien entre eux. Ce qui manquait, c'était du liant entre les éléments importants du récit.
Prenons un exemple concret. Dans la maison de retraite où MyMémoires v1 est déployé, une résidente raconte sa vie. Au fil des récits, elle parle de ses frères et sœurs : elle a 2 frères et 2 sœurs.
Le hic, c'est que l'agent écrivain n'a accès qu'à la partie des retranscriptions que lui confie l'orchestrateur pour son chapitre. Selon le chapitre, il ne connaît donc pas la fratrie en entier, et ne cite que ceux qui apparaissent dans ses extraits. Résultat : des erreurs et des approximations dans les biographies.
Il fallait donc créer un lien entre tous les éléments clés d'une histoire.
Un troisième agent entre dans la danse
C'est là qu'un nouvel agent entre dans la danse. Son rôle : repérer les artefacts dans chaque transcription et les consigner dans une table en base de données.
Pourquoi parler d'artefacts ? Parce qu'un artefact, c'est un objet précieux et chargé de sens. Et c'est exactement ce que sont les informations que cet agent enregistre : des éléments chargés de sens, et précieux.
Il cherche quatre types d'artefacts : les personnes (et leur lien avec le conteur), les lieux, les métiers et les évènements importants.
Pour ce rôle, pas besoin d'un modèle frontière. Pour de l'identification et de la classification, Mistral Small 4 est totalement suffisant et parfaitement capable.
Pour chaque artefact, l'agent attribue un score de confiance. Si ce score passe sous un certain seuil, une pop-in apparaît et demande à l'utilisateur de confirmer une supposition.
Ce seuil, il va falloir le calibrer. Pour ça, je vais devoir passer par des phases de tests, en racontant des histoires avec des éléments qui sèment le doute. Des actions de recette qu'on n'a pas l'habitude de faire.
Cette table est ensuite lue à deux moments du processus : quand on traite le transcript vocal pour en créer le résumé, et quand on construit la biographie.
Concrètement, peu importe le chapitre sur lequel travaille l'agent écrivain, il a toujours accès au contexte du narrateur. Fini la fratrie découpée.
Une console pour tout visualiser
Pour voir ces artefacts de façon graphique, j'ai construit une console qui les présente pour chaque conteur.
Dans cette console on affiche les artéfacts selon les différents type:
- Un tableau des personnes en lien avec le conteur
- Un arbre généalogique pour la famille
- Une frise chronologique de vie où sont répertoriés évènements, lieux et professions exercées.
À terme, j'aimerais être capable de produire ces arbres généalogiques et ces timelines de vie insérable dans la biographie (en fin de livre, par exemple).
Ouvrir la console aux utilisateurs, ou pas ?
Reste une question : est-ce que je donne accès à cette console, ou à un équivalent, aux utilisateurs de l'app ?
Je commence à galérer pour garder un flow simple, et j'ai peur que cette console vienne complexifier encore un peu plus l'application.
D'un autre côté, j'aimerais pouvoir présenter l'arbre généalogique du conteur. Et donner la possibilité de compléter ce qui manque : ajouter les personnes jamais citées pendant les sessions d'enregistrement, ajuster l'orthographe d'un prénom ou d'un nom de famille, préciser une date de naissance, ou la rue où le conteur vivait à une certaine époque.
Mais l'objectif de MyMémoires, c'est avant tout de favoriser la conversation et le dialogue. Pas de faire passer du temps aux utilisateurs derrière un écran.
Je ne suis pas encore fixé. Pour l'instant, la console reste en back-office pour valider mes tests. Peut-être que je la partagerai à quelques utilisateurs clés pour avoir leur feedback sur cette feature.
Si vous avez un avis sur la question, je suis preneur.
Pas encore de commentaire. Soyez le premier !