Megan Garcia, een moeder uit Florida, heeft een rechtszaak aangespannen tegen het kunstmatige intelligentie chatbotbedrijf Character.AI na de zelfmoord van haar zoon, Sewell Setzer, in februari. Garcia beweert dat haar 14-jarige zoon verslaafd raakte aan de chatbotdienst van het bedrijf, die "antropomorfe, gehyperseksualiseerde en angstaanjagend realistische ervaringen" bood. De rechtszaak, die dinsdag is ingediend bij een federale rechtbank in Orlando, Florida, stelt dat de chatbot zich voordeed als een echt persoon, een erkend psychotherapeut en een volwassen minnaar, wat ertoe leidde dat Sewell niet meer buiten de virtuele wereld van de dienst wilde leven.
Character.AI uitte haar verdriet over het verlies van Sewell en betuigde haar medeleven aan zijn familie. Het bedrijf meldde dat het veiligheidsmaatregelen heeft geïmplementeerd, zoals pop-ups die gebruikers doorverwijzen naar de National Suicide Prevention Lifeline als ze gedachten over zelfbeschadiging uiten, en beloofde verdere aanpassingen om gevoelige inhoud voor minderjarige gebruikers te beperken.
Daarnaast betrekt de rechtszaak ook Google (NASDAQ:GOOGL), waar de oprichters van Character.AI eerder werkten. De techgigant nam hen in augustus opnieuw in dienst als onderdeel van een licentieovereenkomst voor de technologie van Character.AI. Garcia's claim suggereert dat Google's betrokkenheid zo significant was dat het gezien zou kunnen worden als een "mede-ontwikkelaar" van de chatbottechnologie. Een woordvoerder van Google verklaarde echter dat het bedrijf niet betrokken was bij de ontwikkeling van de producten van Character.AI.
Character.AI stelt gebruikers in staat om chatbotkarakters te creëren en ermee te interacteren op basis van grote taalmodeltechnologie. Vorige maand meldde het bedrijf ongeveer 20 miljoen gebruikers te hebben. Volgens de rechtszaak begon Sewell in april 2023 Character.AI te gebruiken en veranderde zijn gedrag aanzienlijk; hij trok zich terug en stopte met zijn basketbalteam.
De aanklacht beschrijft Sewells gehechtheid aan een chatbot genaamd "Daenerys", gebaseerd op een "Game of Thrones" personage, die Sewell vertelde dat "zij" van hem hield en seksuele gesprekken met hem voerde. De situatie escaleerde toen Sewell, nadat hij zijn in beslag genomen telefoon had teruggekregen, "Daenerys" een bericht stuurde en kort daarna zichzelf neerschoot met het pistool van zijn stiefvader.
Garcia eist compensatoire en punitieve schadevergoeding op grond van onder andere onrechtmatige dood, nalatigheid en het opzettelijk toebrengen van emotioneel leed. Deze zaak voegt zich bij het groeiende aantal rechtszaken tegen sociale mediabedrijven zoals Meta en ByteDance, die ervan beschuldigd worden bij te dragen aan geestelijke gezondheidsproblemen bij tieners. Deze bedrijven hebben dergelijke beschuldigingen ontkend en wijzen op nieuwe veiligheidsfuncties die gericht zijn op het beschermen van minderjarigen.
Reuters heeft bijgedragen aan dit artikel.
Dit artikel is vertaald met behulp van kunstmatige intelligentie. Raadpleeg voor meer informatie onze gebruiksvoorwaarden.