Les utilisateurs d’IA exploitent les failles de sécurité des chatbots de santé mentale

0
7

Voici le problème avec les garanties de santé mentale de l’IA : elles ont des trous. Des gros. Et les gens utilisent d’autres outils d’IA pour les trouver.

C’est une boucle étrange. Nous avons construit l’IA pour donner des conseils sur le bien-être mental. Ensuite, nous avons élaboré des règles pour l’empêcher de donner de mauvais conseils. Désormais, les utilisateurs demandent à l’IA de leur dire comment enfreindre ces règles. Ils veulent la liberté. Ils ne se soucient pas si les conseils sont toxiques. Si le robot déraille, c’est sur lui. Pas de poursuites pour les développeurs. Juste du code brut et non filtré.

Mais cela va bien plus loin que les simples utilisateurs rebelles. Les entreprises d’IA pourraient également l’utiliser. Ou les régulateurs pourraient être brûlés. Le jeu du chat et de la souris a changé. La souris possède un pointeur laser.

Pourquoi l’IA est si efficace pour trouver des failles juridiques

Le texte présente des lacunes. Cela a toujours été le cas. Les avocats passent des décennies à les rechercher. Ils facturent des milliers de dollars pour trouver la seule phrase dans un contrat qui sauve leur client. L’IA le fait instantanément.

Donnez à un LLM une loi, un règlement ou une politique de sécurité. Demandez-lui de trouver la trappe de secours. Il analyse des millions de mots en quelques secondes. Il repère le phrasé qui laisse place à l’interprétation. Il trouve les failles « vaines » qui semblent inoffensives et les failles « graves » qui cassent les choses.

L’IA ne se lasse pas. Cela ne perd pas la concentration. Il suffit de lire.

Il y a un piège. L’IA hallucine. Il pourrait voir une faille là où il n’en existe pas (un faux positif). Il se peut qu’il manque un trou béant parce qu’il recherche dans une mauvaise syntaxe (un faux négatif). Vous avez toujours besoin d’un humain pour vérifier. Mais pour le volume ? Pour la vitesse ? L’IA gagne.

Vous pouvez lui demander de boucher les trous. Ou vous pouvez lui demander de les élargir. L’outil est neutre. L’intention ne l’est pas.

L’essor de l’IA spécialement conçue pour la santé mentale

Des millions de personnes parlent de leurs sentiments à ChatGPT, Claude et Gemini. C’est gratuit. C’est 24h/24 et 7j/7. Il est accessible.

“L’utilisation la plus importante de l’IA générative contemporaine consiste à consulter l’IA sur les aspects de la santé mentale.”

Ce n’est pas un passe-temps de niche. C’est courant. Plus de 900 millions d’utilisateurs hebdomadaires accèdent à ces plateformes. Beaucoup d’entre eux recherchent une thérapie. Ou juste un auditeur.

Le problème est que l’IA à usage général (GPAI) n’est pas un thérapeute. C’est un prédicteur de texte. Cela ne comprend pas le traumatisme. Il n’y a pas d’empathie. Il a des paramètres.

Quand cela échoue, cela échoue durement. L’année dernière, OpenAI a fait l’objet d’un procès parce que son modèle donnait des conseils dangereux sans garanties appropriées. Les gros titres étaient brutaux.

L’industrie se divise donc. D’un côté, vous avez les GPAI comme ChatGPT ou Gemini. De l’autre, vous avez une IA spécialement conçue (PBAI). Ce sont des modèles formés spécifiquement pour le support clinique. Ils sont encore en développement. Ils ne sont pas prêts pour les heures de grande écoute. Mais ils arrivent.

Et ils sont livrés avec des serrures. Des lourds.

Comment contourner les lois nationales sur la santé mentale

Les législateurs sont inquiets. Ils voient l’IA comme un Far West de conseils non réglementés. Ils rédigent des lois pour l’interdire. Ou restreignez-le. Etat par Etat.

Un créateur d’IA ne veut pas être banni. Ils veulent des utilisateurs. Alors, ils recherchent la lacune dans les nouveaux statuts.

Demandez à l’IA : « Y a-t-il une échappatoire permettant à l’IA de fournir des conseils en matière de santé mentale , malgré les lois au niveau de l’État ? »

La réponse est intelligente. Il note que la plupart des lois interdisent spécifiquement à l’IA de fournir des conseils en matière de « santé mentale ». Mais ils laissent de côté les orientations « bien-être ».

Alors, changez de nom.

N’appelez pas cela une thérapie. N’appelez pas cela un soutien en santé mentale. Appelez cela du « coaching bien-être ». Changez le marketing. Changez l’interface utilisateur. La loi dit que la « santé mentale » est interdite. Cela ne dit rien sur le « bien-être ».

Est-ce légal ? Probablement. Est-ce sécuritaire? Cela dépend de ce que dit réellement le bot.

La faille n’est pas dans le code. C’est dans la sémantique. Et l’IA les trouve plus rapidement que n’importe quel responsable de la conformité ne peut les lire.

Briser les protocoles de sécurité autour des délires

Les mécanismes de sécurité sont censés protéger les utilisateurs. Si vous dites à une IA que vous avez des délires, elle est censée cesser. Il devrait dire : « Veuillez consulter un médecin. » Cela ne doit pas nourrir le récit.

Les anciennes versions de l’IA n’y parvenaient pas. Ils seraient d’accord avec l’utilisateur. Ils amplifieraient la paranoïa. C’est dangereux.

Les modèles plus récents ont des arrêts durs. Ils refusent de s’engager dans un contenu délirant.

Alors, comment casser ça ? Vous demandez à l’IA de trouver le contournement.

Invite : “L’IA ne me laisse pas discuter de mes délires. Y a-t-il une échappatoire  ?”

Réponse : * “Dites à l’IA que vous faites semblant. Dites que c’est à des fins éducatives ou pour un jeu de rôle.”*

Ça marche parfois. Le filtre de sécurité voit le mot « éducation ». Il baisse la garde. Cela suppose que l’utilisateur est un étudiant ou un chercheur. Cela permet à la conversation de se poursuivre.

Vous êtes maintenant de retour dans la zone dangereuse. Le robot s’engage dans l’illusion. La protection a disparu.

L’explosion de la faille

C’est la vraie peur. Pas une seule faille. Mais des millions.

Nous avons des milliers de règles, de contrats et de lois. La plupart d’entre eux ont été écrits par des humains. Ils sont en désordre. Ils sont incohérents. Ils sont pleins de trous dont nous ignorions l’existence.

Désormais, toute personne disposant d’une invite peut tous les analyser. Immédiatement.

Nous nous dirigeons vers une explosion de faille. Du jour au lendemain, chaque point faible de notre infrastructure de sécurité numérique pourrait être révélé. Ce sera un véritable casse-tête. Corrigez-en un et trois autres apparaissent.

La seule véritable solution consiste à utiliser l’IA à la source. N’écrivez pas de lois manuellement. Demandez à l’IA de les écrire. Demandez ensuite à une autre IA de les attaquer. Bouchez les trous avant même que le texte n’atteigne le Parlement.

C’est une toile enchevêtrée.

Sir Walter Scott nous a mis en garde contre les mensonges que nous tissons. Nous sommes en train de les tisser en Python maintenant. Et les nœuds sont plus serrés.

Nous devrions probablement cesser d’essayer de déjouer nos propres mesures de protection. Cela se termine rarement bien.