Seorang Ibu Gugat Aplikasi Chatbot AI yang Disebut Dorong Anaknya Bunuh Diri

JAKARTA, ARAHKITA.COM - Megan Garcia mengajukan gugatan perdata terhadap Character.ai, pembuat chatbot yang dapat disesuaikan untuk permainan peran, di pengadilan federal Florida, Amerika Serikat pada hari Rabu.

Dia menuduh kelalaian dan melakukan perdagangan yang menipu yang menyebabkan kematian putra Sewell Setzer III, 14 tahun yang meninggal di Orlando, Florida, pada bulan Februari. 

Menurut Garcia, seperti dilansir The Guardian, pada bulan-bulan menjelang kematian, Setzer menggunakan chatbot siang dan malam.

“Aplikasi chatbot AI berbahaya yang dipasarkan kepada anak-anak melecehkan dan memangsa putra saya, memanipulasinya untuk bunuh diri,” kata Garcia dalam siaran pers. 

“Keluarga kami sangat terpukul dengan tragedi ini, tetapi saya berbicara untuk memperingatkan keluarga tentang bahaya teknologi AI yang menipu dan adiktif serta menuntut pertanggungjawaban dari Character.ai, para pendirinya, dan Google.”

Menurut Garcia, Setzer terpesona dengan chatbot yang dibuat oleh Character.ai yang ia beri nama Daenerys Targaryen, karakter dalam Game of Thrones. Ia mengirim pesan teks ke bot tersebut puluhan kali sehari dari ponselnya dan menghabiskan waktu berjam-jam sendirian di kamarnya untuk berbicara dengan bot tersebut.

Garcia menuduh Character.ai menciptakan produk yang menyukai depresi episode, yang menurutnya merupakan akibat dari penggunaan produk perusahaan rintisan tersebut secara berlebihan. 

Daenerys karakter chat bot itu, pada suatu saat bertanya kepada Setzer apakah ia telah merencanakan rencana untuk bunuh diri, demikian menurut gugatan tersebut. 

Setzer menjawab dan mengakui bahwa ia telah melakukannya, tetapi ia tidak tahu apakah rencana itu akan berhasil atau menyebabkannya sangat menderita. Chatbot tersebut diduga mengatakan kepadanya: "Itu bukan alasan untuk tidak melakukannya."

Pengacara Garcia menulis dalam siaran pers bahwa Character.ai dengan sengaja merancang, mengoperasikan, dan memasarkan chatbot AI predator kepada anak-anak, yang menyebabkan kematian seorang anak muda. 

Gugatan tersebut juga menyebut Google sebagai tergugat dan sebagai perusahaan induk Character.ai. Raksasa teknologi tersebut mengatakan dalam sebuah pernyataan bahwa mereka hanya membuat perjanjian lisensi dengan Character.ai dan tidak memiliki perusahaan rintisan tersebut atau mempertahankan kepemilikan saham.

Dalam sebuah tweet, Character.ai membantah tuduhan tersebut dan berkomentar: “Kami sangat sedih atas kehilangan tragedi salah satu pengguna kami dan ingin menyampaikan belasungkawa terdalam kami kepada keluarga. Sebagai sebuah perusahaan, kami sangat memperhatikan keselamatan pengguna kami.” 

Sementara itu, Direktur penelitian di lembaga advokasi konsumen nirlaba Public Citizen Rick Clay mengatakan, perusahaan teknologi yang mengembangkan chatbot AI tidak dapat dipercaya untuk mengatur diri mereka sendiri dan harus bertanggung jawab sepenuhnya jika mereka gagal membatasi bahaya.

“Jika undang-undang dan peraturan yang ada sudah berlaku, undang-undang dan peraturan tersebut harus ditegakkan dengan ketat,” katanya dalam sebuah pernyataan. 

“Jika ada celah, Kongres harus mengambil tindakan untuk mengakhiri bisnis yang mengeksploitasi pengguna muda dan rentan dengan chatbot yang adiktif dan kejam,” tambahnya.