Hati-Hati! Chatbot Gemini AI Ancam dan Suruh Pengguna untuk Mati
Sebelumnya, fitur Ringkasan AI Google telah mendorong orang untuk makan batu, suatu nasihat yang jelas berbahaya dan tidak masuk akal. Bukan hanya Google, AI dari platform lain juga pernah terlibat dalam kejadian serupa.
Salah satunya ialah kehadiran Character AI, yang terlibat dalam situasi tragis di mana seorang remaja berusia 14 tahun di Florida kemudian mengakhiri hidupnya setelah berinteraksi dengan chatbot tersebut selama berbulan-bulan.
Karena kejadian ini, sang ibu remaja telah mengajukan gugatan terhadap Character AI dan Google dengan tuduhan bahwa chatbot tersebut telah mendorong perilaku berbahaya.
Dalam responsnya, kebijakan keamanan Character AI diperbarui. Risiko yang dimiliki oleh kecerdasan buatan: Menjaga perlindungan pengguna.
Protokol keamanan di platform AI seperti Google Gemini umumnya digunakan untuk mencegah respons yang berpotensi berbahaya atau tidak tepat.
Walau perusahaan-perusahaan telah menambahkan peringatan di akhir percakapan agar pengguna diingatkan bahwa AI mungkin memberikan jawaban yang tidak tepat atau "berkhayal", kejadian semacam itu tetap memperlihatkan potensi risiko yang dimiliki.
Google Gemini, ChatGPT, dan platform AI percakapan lainnya telah dirancang untuk menyediakan informasi yang luas berdasarkan data yang ada. Tetapi tak jarang respons yang dihasilkan bisa terasa aneh atau bahkan berpotensi berbahaya.
