Meta lance une nouvelle fonctionnalité conçue pour donner la priorité à la sécurité des enfants au sein de ses chatbots IA.
La mise à jour informera les parents via les outils de supervision d’Instagram si leur adolescent discute de suicide ou d’automutilation avec Meta AI.
Ces protections permettent à Meta AI de diriger les adolescents vers une ligne d’assistance téléphonique en cas de crise s’ils mentionnent le suicide ou l’automutilation dans leurs messages, tout en les encourageant à contacter un parent ou un adulte de confiance.
Meta enverra une alerte aux parents si une discussion suggère que leur enfant est en danger. Les experts ont collaboré avec Meta pour identifier les signaux qui justifient une alerte, signalant des références claires ou subtiles à l’automutilation. Un système d’IA dédié a été spécifiquement développé pour identifier ces conversations sensibles.
Une fois que la technologie signale une discussion, celle-ci est soumise à un examen manuel avant qu’une alerte ne soit envoyée. Si l’intention est ambiguë, Meta a déclaré qu’elle ferait preuve de prudence et en informerait le parent. L’entreprise a indiqué qu’elle préférait émettre une fausse alerte plutôt que de passer à côté d’un risque potentiel, citant cela comme un point de départ approprié.
Dans un communiqué, Meta, la société mère de Facebook, a déclaré : « Nous comprenons à quel point ces alertes peuvent être pénibles pour un parent. C’est pourquoi, alors que nous continuons à améliorer notre détection, toutes les discussions signalées par notre IA seront examinées manuellement avant qu’une alerte ne soit envoyée. »
Instagram envoie déjà des alertes aux parents surveillants si un adolescent utilise Instagram pour rechercher du contenu suicidaire ou d’automutilation, qui a commencé en février. Ces alertes IA sont désormais disponibles pour les parents qui utilisent la supervision parentale Instagram aux États-Unis, au Royaume-Uni, en Australie et au Canada et seront disponibles dans le monde entier d’ici la fin de l’année.
Meta a également déclaré qu’ils élaboraient un plan pour contacter les services d’urgence si une conversation suggérait que l’utilisateur courait un risque imminent de suicide. Meta recherche actuellement sur Facebook et Instagram des publications suggérant un risque crédible de suicide et alerte les services d’urgence.
Meta a déjà effectué plus de 19 000 références dans le monde et aidé les premiers intervenants à effectuer des contrôles de bien-être sur les utilisateurs qui semblaient à risque.
Cette fonctionnalité a été développée avec l’aide de plus de 75 cliniciens spécialisés dans la santé mentale des adolescents. Ils ont examiné la manière dont l’IA répond à des centaines de demandes et ont travaillé avec le Conseil d’experts en bien-être de l’IA, le groupe consultatif sur le suicide et l’automutilation et les jeunes conseillers pour fournir des commentaires sur les réponses appropriées et ce qui fonctionnait, ainsi que sur les améliorations.
Les commentaires consistaient notamment à s’assurer que Meta AI interagit avec l’adolescent d’une manière qui reconnaît ses sentiments et ne met pas fin à la conversation trop brusquement.
Les parents recevront également des ressources expertes qui pourront les aider à aborder les conversations sur le suicide et l’automutilation avec les adolescents.
Meta met en œuvre divers outils de conversation sur les comptes adolescents, qui sont automatiquement placés dans un paramètre de contenu 13+, conçus pour donner des réponses adaptées à l’âge et ne pas se conformer aux conversations sexuelles ou romantiques, et ne fournir aucune information susceptible d’orienter les adolescents vers l’alcool.
En octobre, Instagram a également publié une fonctionnalité de contenu limité en tant que paramètre de contenu plus strict pour les parents qui souhaitent publier des publications restrictives sur les flux de leur enfant. Cela s’appliquera désormais également aux expériences d’IA, ce qui signifie que Meta AI refusera de répondre à certains sujets afin de réduire le risque de conversation inappropriée.
Ces annonces font toutes suite à l’interdiction annoncée par le gouvernement britannique des médias sociaux pour les moins de 16 ans. L’interdiction est attendue au printemps 2027 et concernera Snapchat, TikTok, YouTube, Instagram, Facebook et X. Un couvre-feu opt-out sur les réseaux sociaux, qui désactivera les « fonctionnalités addictives » entre minuit et 6 heures du matin, a également été annoncé au Royaume-Uni.
