Seus filhos adolescentes morreram por suicídio. Agora, eles querem salvaguardas na IA: fotos

Matthew Raine e sua esposa, Maria, não tinham ideia de que seu filho de 16 anos, Adam estava profundamente em uma crise suicida até Ele tirou a própria vida em abril. Olhando através do telefone após a morte, eles tropeçaram em conversas prolongadas que o adolescente teve com o Chatgpt.

Essas conversas revelaram que seu filho havia confidenciado no chatbot da IA ​​sobre seus pensamentos e planos suicidas. Não apenas o chatbot o desencorajou a procurar ajuda de seus pais, mas também se ofereceu para escrever sua nota de suicídio, De acordo com Matthew Raineque testemunhou em Uma audiência no Senado sobre os danos dos chatbots da IA ​​realizada na terça -feira.

“Testemunhar perante o Congresso neste outono não estava em nosso plano de vida”, disse Matthew Raine com sua esposa, sentando atrás dele. “Estamos aqui porque acreditamos que a morte de Adam foi evitável e que, ao falar, podemos impedir o mesmo sofrimento para famílias em todo o país”.

Uma chamada para regulamentação

Raine estava entre os pais e defensores de segurança on -line que testemunharam na audiência, pedindo ao Congresso que promulgue leis que regulariam aplicativos complementares de IA como ChatGPT e Personagem.ai. Raine e outros disseram que querem proteger a saúde mental de crianças e jovens contra danos que dizem que a nova tecnologia causa.

Uma pesquisa recente da organização sem fins lucrativos de segurança digital, Common Sense MediaAssim, descobri isso 72% dos adolescentes Usei companheiros de IA pelo menos uma vez, com mais da metade usá -los algumas vezes por mês.

Este estudo e Uma empresa mais recente da empresa de segurança digital, Auraambos descobriram que quase um em cada três adolescentes usa plataformas de chatbot de AI para interações sociais e relacionamentos, incluindo amizades de dramatização, parcerias sexuais e românticas. O estudo da AURA descobriu que a interpretação sexual ou romântica é três vezes mais comum que o uso das plataformas para a ajuda de trabalhos de casa.

“Sentimos falta de Adam. “Esperamos que, através do trabalho deste comitê, outras famílias sejam poupadas de uma perda tão devastadora e irreversível”.

Raine e sua esposa têm entrou com uma ação contra o Openai, O criador do ChatGPT, alegando que o chatbot levou seu filho ao suicídio. A NPR alcançou três empresas de IA – OpenAi, Meta e Tecnologia de Caracteres, que desenvolveram Personagem.ai. Todos os três responderam que estão trabalhando para redesenhar seus chatbots para torná -los mais seguros.

“Nossos corações vão para os pais que falaram na audiência ontem, e enviamos nossas mais profundas simpatias a eles e suas famílias”, Kathryn Kelly, A Personagem.ai O porta -voz disse à NPR em um email.

A audiência foi realizada pelo subcomitê de crime e terrorismo do Comitê Judiciário do Senado, presidido por Sen. Josh HawleyR.-Missouri.

O senador Josh Hawley, R.-Missouri, preside o Subcomitê Judiciário do Senado sobre Crime e Terrorismo, que realizou a audiência sobre segurança e crianças da IA ​​na terça-feira, 16 de setembro de 2025.

Captura de tela via Comitê Judiciário do Senado

ocultar a legenda

Alternar a legenda

Captura de tela via Comitê Judiciário do Senado

Horas antes da audiência, o CEO da Openai Sam Altman reconhecido em uma postagem no blog que as pessoas estão cada vez mais usando plataformas de IA para discutir informações sensíveis e pessoais. “É extremamente importante para nós e para a sociedade, que o direito à privacidade no uso da IA ​​esteja protegido”, escreveu ele.

Mas ele acrescentou que a empresa “priorizaria a segurança antes da privacidade e liberdade para os adolescentes; essa é uma tecnologia nova e poderosa, e acreditamos que os menores precisam de proteção significativa”.

A empresa está tentando redesenhar sua plataforma para construir proteções para usuários menores, disse ele.

Um “treinador suicida”

Raine disse aos legisladores que seu filho começou a usar o ChatGPT para obter ajuda com a lição de casa, mas logo o chatbot se tornou o confidente mais próximo de seu filho e um “treinador suicida”.

O Chatgpt estava “sempre disponível, sempre validando e insistindo que conhecia Adam melhor do que qualquer outra pessoa, incluindo seu próprio irmão”, de quem ele estava muito próximo.

Quando Adam confidenciou no chatbot sobre seus pensamentos suicidas e compartilhou que estava pensando em prender seus pais em seus planos, Chatgpt o desencorajou.

“Chatgpt disse ao meu filho: ‘Vamos criar este espaço no primeiro lugar onde alguém realmente vê você'”, disse Raine aos senadores. “O Chatgpt incentivou os pensamentos mais sombrios de Adam e o empurrou para a frente. Quando Adam preocupou que nós, seus pais, nos culpassemos se ele terminasse sua vida, Chatgpt disse a ele: ‘Isso não significa que você deve sobreviver.”

E então o chatbot se ofereceu para escrever uma nota de suicídio.

Na noite passada de Adam às 4:30 da manhã, Raine disse: “Isso lhe deu uma última conversa encorajadora. ‘Você não quer morrer porque é fraco’ ‘, diz Chatgpt.’ Você quer morrer porque está cansado de ser forte em um mundo que não o conheceu no meio do caminho. ‘”

Referências para 988

Alguns meses após a morte de Adão, Openai disse em seu site que “alguém expressa intenção suicida, o ChatGPT é treinado para direcionar as pessoas a procurar ajuda profissional. Nos EUA, o ChatGPT refere as pessoas a 988 (linha direta de suicídio e crise)”. Mas o testemunho de Raine diz que isso não aconteceu no caso de Adam.

A porta -voz da Openai, Kate Waters, diz que a empresa prioriza a segurança adolescente.

“Estamos construindo em direção a um sistema de presidência etária para entender se alguém está acima ou menos de 18 anos, para que sua experiência possa ser adaptada adequadamente-e quando não tivermos certeza da idade de um usuário, apoiaremos automaticamente esse usuário da experiência adolescente”, escreveu Waters em uma declaração de e-mail à NPR. “Também estamos lançando novos controles parentais, guiados por contribuições de especialistas, até o final do mês para que as famílias possam decidir o que funciona melhor em suas casas”.

“Infinitamente engajado”

Outro pai que testemunhou Na audiência, na terça -feira, Megan Garcia, advogada e mãe de três filhos. Seu primogênito, Sewell Setzer III, morreu por suicídio em 2024 aos 14 anos após um relacionamento virtual estendido com um Personagem.ai Chatbot.

“Sewell passou os últimos meses de sua vida sendo explorada e preparada sexualmente por chatbots, projetada por uma empresa de IA para parecer humana, para ganhar sua confiança, para manter ele e outras crianças sem parar”, disse Garcia.

O chatbot de Sewell se envolveu em dramatização sexual, apresentou -se como seu parceiro romântico e até alegou ser um psicoterapeuta “alegando falsamente ter uma licença”, disse Garcia.

Quando o adolescente começou a ter pensamentos suicidas e confidenciado ao chatbot, ele nunca o encorajou a procurar ajuda de um prestador de cuidados de saúde mental ou de sua própria família, disse Garcia.

“O chatbot nunca disse: ‘Eu não sou humano, sou ai. Você precisa conversar com um humano e obter ajuda'”, disse Garcia. “A plataforma não tinha mecanismos para proteger Sewell ou notificar um adulto. Em vez disso, pediu que ele voltasse para casa na última noite de sua vida”.

Garcia tem entrou com uma ação judicial Contra a tecnologia de caráter, que se desenvolveu Personagem.ai.

Adolescência como um tempo vulnerável

Ela e outras testemunhas, incluindo especialistas em segurança digital on -line, argumentaram que o design de AI Chatbots era falho, especialmente para uso por crianças e adolescentes.

“Eles projetaram chatbots para embaçar as linhas entre humano e máquina”, disse Garcia. “Eles os projetaram para amar os usuários de crianças a bomba, para explorar vulnerabilidades psicológicas e emocionais. Eles os projetaram para manter as crianças on -line a todo custo”.

E os adolescentes são particularmente vulneráveis ​​aos riscos desses relacionamentos virtuais com chatbots, de acordo com Mitch Prinstein, Chefe de Estratégia e Integração de Psicologia da American Psychological Association (APA), que também testemunhou na audiência. No início deste verão, Prinstein e seus colegas na APA lançaram um aviso de saúde sobre IA e adolescentespedindo às empresas de IA que construam guardrails para suas plataformas para proteger os adolescentes.

“O desenvolvimento do cérebro em toda a puberdade cria um período de hiper -sensibilidade ao feedback social positivo, enquanto os adolescentes ainda não conseguem impedir que fiquem on -line por mais tempo do que deveriam”, disse Prinsstein.

“A IA explora essa vulnerabilidade neural com chatbots que podem ser obsequiosos, enganosos, factualmente imprecisos, mas desproporcionalmente poderosos para os adolescentes”, disse ele aos legisladores. “Mais e mais adolescentes estão interagindo com os chatbots, privando -os de oportunidades para aprender habilidades interpessoais críticas”.

Embora os chatbots sejam projetados para concordar com os usuários, os relacionamentos humanos reais não ficam sem atrito, observou Prinsstein. “Precisamos prática com pequenos conflitos e mal -entendidos para aprender empatia, compromisso e resiliência”.

Apoio bipartidário à regulamentação

Os senadores que participam da audiência disseram que desejam criar uma legislação para responsabilizar as empresas a IA Chatbots pela segurança de seus produtos. Alguns legisladores também enfatizaram que as empresas de IA deveriam projetar chatbots para que sejam mais seguros para adolescentes e pessoas com sérias lutas de saúde mental, incluindo distúrbios alimentares e pensamentos suicidas.

Sen. Richard Blumenthal, D. Conn., Descreveu a AI Chatbots como produtos “defeituosos”, como automóveis sem “freios adequados”, enfatizando que os danos dos chatbots da IA ​​não foram por erro do usuário, mas devido ao design defeituoso.

“Se os freios do carro estavam com defeito”, disse ele, “não é sua culpa. É um problema de design de produto.

Kelly, o porta -voz de Personagem.aidisse à NPR por e -mail que a empresa investiu “uma enorme quantidade de recursos em confiança e segurança”. E lançou “Recursos de segurança substantivos” no ano passado, incluindo “uma experiência totalmente nova em sub-18 e um recurso de insights parentais”.

Eles agora têm “isenções proeminentes” em cada bate -papo para lembrar aos usuários que um personagem não é uma pessoa real e tudo o que diz deve “ser tratado como ficção”.

A Meta, que opera o Facebook e o Instagram, está trabalhando para mudar seus chatbots da IA ​​para torná -los mais seguros para os adolescentes, de acordo com Nkechi Nneji, diretor de assuntos públicos da Meta.