Plaqué(e) par un robot : voilà la rupture 2023
- 18 Mar 2023

Relation artificielle mais douleur réelle : une startup invente la meta rupture, en tweakant son algo elle sème le désespoir parmi ses utilisateurs. Cette histoire fait sourire mais si demain quelqu'un se tue suite à un update raté d'une app, on se demandera si on est pas passé à côté de quelque chose.
Replika : la promesse d'un compagnon AI
Replika est une startup spécialisée dans la création de chatbot « compagnon » personnalisé basé sur l’IA.
Comme un tamagotchi moderne on s’occupe de son compagnon et on discute avec lui. Peu à peu ce companon apprend de nous et les discussions sont personnalisées.
En version premium on peut même avoir des conversations romantiques ou … érotiques avec ce companon. Et apparemment des dizaines d’utilisateurs se prennent tellement au jeu qu’ils deviennent affectivement dépendants de leur chatbot.
Mais en janvier les autorités italiennes s’aperçoivent que dans le processus de création de compte, aucune vérification d’âge n’est faite, et ainsi des mineurs se retrouvent exposés à des contenus inappropriés, sans parler de la vulnérabilité éventuelle à ces simulacres de relation. Replika est mis en demeure. Replika change ses algos et soudainement tous les « compagnons » deviennent froids comme les vrais robots qu’ils sont.
Certains utilisateurs ne s’en remettent pas et sont désespérés, tandis que replika offre sur son subreddit des liens de site de thérapie et de helpline anti suicide.
IA personnalisée: un besoin d'éthique, sinon de régulation
Via la personnalisation, les IA peuvent potentiellement devenir des technologies encore plus addictives que les réseaux sociaux. Pour ces derniers l’intention était bonne, mais à l arrivée on commence à comprendre que mal utilisé, en particulier par des jeunes filles ils peuvent devenir délétères.
Pour les IA c’est pareil : on pense faire un compagnon sympa mais les plus fragiles restent en soufffance.
C’est pas drôle pour les VC mais les effets des chatbots personnalisés devraient être soigneusement étudiés avant d’être lâchés dans la nature.
Et en même temps la boîte de Pandore étant ouverte comment ne pas brider totalement l’innovation ?
Voilà 4 idées de bon sens que l’industrie pourrait s’ imposer ou a défaut le régulateur
- limitation du temps d’utilisation ou detox automatique régulière
- évaluation psychologique obligatoire et standardisée à l'entrée et au cours de l'utilisation
- obligations d’essais randomisés pour mesurer les effets sur la santé mentale avant l’ouverture au public
- Encadrement / limitation des possibilités de personnalisation, avec par exemple une mémoire qui s’efface régulièrement ou peu à peu
Text drafted through a chat with an AI model. Image : replika instagram.
Transformation and final editing by Jean-Paul Paoli.