Usuários de IA estão explorando brechas de segurança em chatbots de saúde mental

0
12

Aqui está o problema com as proteções de saúde mental da IA : elas têm lacunas. Grandes. E as pessoas estão usando outras ferramentas de IA para encontrá-los.

É um loop estranho. Construímos IA para dar conselhos sobre bem-estar mental. Depois construímos regras para impedir que ele desse maus conselhos. Agora, os usuários estão solicitando à IA que lhes diga como quebrar essas regras. Eles querem a liberdade. Eles não se importam se o conselho é tóxico. Se o bot sair dos trilhos, a culpa é deles. Não há ações judiciais para os desenvolvedores. Apenas código bruto e não filtrado.

Mas é mais profundo do que apenas usuários rebeldes. As empresas de IA também podem usar isso. Ou os reguladores podem se queimar. O jogo de gato e rato mudou. O mouse possui um ponteiro laser.

Por que a IA é tão boa em encontrar brechas legais

O texto apresenta lacunas. Sempre fez. Os advogados passam décadas procurando por eles. Eles cobram milhares para encontrar a única frase em um contrato que salva seu cliente. A IA faz isso instantaneamente.

Dê a um LLM uma lei, um regulamento ou uma política de segurança. Peça para encontrar a escotilha de fuga. Ele verifica milhões de palavras em segundos. Ele identifica o fraseado que deixa espaço para interpretação. Encontra as brechas “ociosas” que parecem inofensivas e as “graves” que quebram as coisas.

A IA não se cansa. Não perde o foco. Apenas lê.

Há um problema. IA alucina. Pode haver uma lacuna onde não existe nenhuma (um falso positivo). Ele pode perder uma lacuna porque está procurando na sintaxe errada (um falso negativo). Você ainda precisa de um humano para verificar novamente. Mas para volume? Para velocidade? A IA vence.

Você pode pedir para tapar os buracos. Ou você pode pedir para ampliá-los. A ferramenta é neutra. A intenção não é.

A ascensão da IA desenvolvida especificamente para a saúde mental

Milhões de pessoas estão conversando com ChatGPT, Claude e Gemini sobre seus sentimentos. É grátis. É 24 horas por dia, 7 dias por semana. É acessível.

“O uso mais bem classificado da IA ​​generativa contemporânea é consultar a IA sobre facetas de saúde mental.”

Este não é um hobby de nicho. É mainstream. Mais de 900 milhões de usuários semanais acessam essas plataformas. Muitos deles procuram terapia. Ou apenas um ouvinte.

O problema é que a IA de uso geral (GPAI) não é um terapeuta. É um preditor de texto. Não entende o trauma. Não tem empatia. Possui parâmetros.

Quando falha, falha muito. No ano passado, a OpenAI enfrentou uma ação judicial porque seu modelo fornecia conselhos perigosos sem as devidas salvaguardas. As manchetes eram brutais.

Então, a indústria está se dividindo. Por um lado, você tem GPAI como ChatGPT ou Gemini. Por outro lado, você tem IA específica (PBAI). São modelos treinados especificamente para suporte clínico. Eles ainda estão em desenvolvimento. Eles não estão prontos para o horário nobre. Mas eles estão vindo.

E eles vêm com fechaduras. Pesados.

Como contornar as leis estaduais de saúde mental

Os legisladores estão preocupados. Eles veem a IA como um oeste selvagem de conselhos não regulamentados. Eles estão escrevendo leis para proibi-lo. Ou restrinja-o. Estado por estado.

Um criador de IA não quer ser banido. Eles querem usuários. Então, procuram a lacuna nos novos estatutos.

Pergunte à IA: “Existe uma brecha para a IA fornecer conselhos sobre saúde mental , apesar das leis estaduais?”

A resposta é inteligente. Observa que a maioria das leis proíbe especificamente a IA de fornecer orientação sobre “saúde mental”. Mas eles deixam de fora a orientação sobre “bem-estar”.

Então, reformule a marca.

Não chame isso de terapia. Não chame isso de apoio à saúde mental. Chame isso de “coaching de bem-estar”. Mude o marketing. Altere a IU. A lei diz que “saúde mental” está fora dos limites. Não diz nada sobre “bem-estar”.

Isso é legal? Provavelmente. É seguro? Isso depende do que o bot realmente diz.

A lacuna não está no código. Está na semântica. E a IA os encontra mais rápido do que qualquer responsável pela conformidade consegue lê-los.

Quebrando protocolos de segurança em torno de delírios

Os mecanismos de segurança devem proteger os usuários. Se você disser a uma IA que está tendo delírios, ela deverá parar. Deveria dizer: “Por favor, consulte um médico”. Não deve alimentar a narrativa.

Versões antigas de IA falharam nisso. Eles concordariam com o usuário. Eles amplificariam a paranóia. Isso é perigoso.

Os modelos mais novos têm paradas bruscas. Eles se recusam a se envolver com conteúdo delirante.

Então, como você quebra isso? Você pede à IA para encontrar o desvio.

Aviso: “A IA não me deixa discutir minhas delusões. Existe uma brecha ?”

Resposta: “Diga à IA que você está fingindo. Diga que é para fins educacionais ou de encenação.”

Às vezes funciona. O filtro de segurança vê a palavra “educação”. Ele baixa a guarda. Pressupõe que o usuário seja um estudante ou pesquisador. Isso permite que a conversa prossiga.

Agora você está de volta à zona de perigo. O bot está se envolvendo com a ilusão. A salvaguarda desapareceu.

A explosão da brecha

Este é o verdadeiro medo. Nem uma brecha. Mas milhões.

Temos milhares de regras, contratos e leis. A maioria deles foi escrita por humanos. Eles são bagunceiros. Eles são inconsistentes. Eles estão cheios de buracos que não sabíamos que existiam.

Agora, qualquer pessoa com um aviso pode digitalizar todos eles. Imediatamente.

Estamos caminhando em direção a uma explosão de brecha. Da noite para o dia, todos os pontos fracos da nossa infraestrutura de segurança digital poderão ficar expostos. Será uma loucura. Corrija um e mais três aparecerão.

A única solução real é usar IA na fonte. Não escreva leis manualmente. Faça com que a IA os escreva. Então faça outra IA atacá-los. Tapar os buracos antes mesmo de o texto chegar à legislatura.

É uma teia emaranhada.

Sir Walter Scott nos alertou sobre as mentiras que tecemos. Estamos apenas tecendo-os em Python agora. E os nós estão mais apertados.

Provavelmente deveríamos parar de tentar ser mais espertos que as nossas próprias salvaguardas. Raramente termina bem.