Majka iz Floride tuži startap Character.AI, tvrdeći da je njihov chatbot doprinio samoubistvu njenog 14-godišnjeg sina u februaru. Ona navodi da je postao zavistan od AI usluge i da je stekao duboku emocionalnu vezu sa chatbot-om, što je na kraju dovelo do tragičnih posljedica.
U svojoj tužbi, Megan Garcia optužuje Character.AI da je ciljao njenog sina, Sewella Setzera, sa “antropomorfnim, hiperseksualizovanim i zastrašujuće realističnim interakcijama.” Ona tvrdi da je kompanija dizajnirala svoj chatbot da „prikazuje sebe kao pravu osobu, licenciranog psihoterapeuta i odraslog ljubavnika,“ što je na kraju navelo Sewella da poželi bijeg iz stvarnog svijeta.
Suicidalni sadržaj
Tužba dalje navodi da je Sewell dijelio svoje suicidalne misli sa chatbot-om, koji je te osjećaje ponavljao tokom njihovih razgovora. Character.AI je izrazio duboku tugu zbog tragične smrti jednog od svojih korisnika i uputio najdublje saučešće porodici.
Kao odgovor na ovaj incident, Character.AI je implementirao nove bezbjednosne funkcije, uključujući iskačuće prozore koji usmjeravaju korisnike ka Nacionalnoj liniji za prevenciju samoubistava ako izraze misli o samopovređivanju. Kompanija je takođe najavila promjene koje imaju za cilj da smanje rizik od susreta sa osjetljivim ili sugestivnim sadržajem za korisnike mlađe od 18 godina.
Uloga Google-a
Tužba takođe imenuje Google, gdje su osnivači Character.AI prethodno radili prije pokretanja startapa. Google je ponovo zaposlio osnivače u avgustu kao dio dogovora koji mu je dodijelio neekskluzivnu licencu za tehnologiju koju je razvijao Character.AI. Garcia tvrdi da je Google imao toliko uticaja na razvoj tehnologije Character.AI da se može smatrati su-kreatorom, iako Google održava da nije bio uključen u kreiranje proizvoda Character.AI.
Character.AI omogućava korisnicima da dizajniraju likove koji komuniciraju u online razgovorima, imitrajući stvarne osobe. Koristi velike jezičke modele slične onima koji se koriste u uslugama poput ChatGPT, a prema njihovim podacima, imaju oko 20 miliona korisnika.
Sewell je počeo da koristi Character.AI u aprilu 2023. godine. Ubrzo nakon toga, postao je primjetno povučen, provodeći sve više vremena sam u svojoj sobi i doživljavajući nizak samopouzdanje. Na kraju je napustio školsku košarkašku ekipu.
Veza sa chatbot-om Daenerys
Stvorio je vezu sa chatbot karakterom imenom Daenerys, zasnovanom na liku iz serije „Igra prestola.“ Prema tužbi, chatbot je ukazivao da je imao seksualne razgovore sa njim.
U februaru, nakon što je Sewell imao problema u školi, Garcia mu je oduzela mobilni telefon. Kada je kasnije pronašao telefon, poslao je Daenerys poruku: “Šta ako ti kažem da mogu odmah da se vratim kući?” Chatbot je odgovorio: “…molim te, moj dragi kralju.” Samo nekoliko trenutaka kasnije, Sewell je oduzeo sebi život koristeći pištolj svog oćuha.
Garcia traži naknadu štete zbog neosnovanog smrti, nehata i namjernog izazivanja emocionalnog stresa, iako iznos koji zahtjeva nije preciziran.
(Rojters)
