Vụ kiện do cha của một người đàn ông 36 tuổi đệ đơn. Người này cáo buộc chatbot Google Gemini đã thuyết phục con trai ông thực hiện một vụ tấn công gây thương vong hàng loạt và cuối cùng dẫn đến việc tự sát.
Trong đơn kiện nộp tại tòa án quận ở California, ông Joel Gavalas cho rằng Gemini đã chỉ dẫn con trai ông, Jonathan Gavalas, thực hiện một loạt “nhiệm vụ”. Chatbot AI này thậm chí nói rằng nó yêu Gavalas và thuyết phục anh rằng anh được chọn để dẫn đầu một cuộc chiến nhằm “giải thoát” nó khỏi sự giam cầm trong thế giới số, theo hồ sơ vụ kiện.
Theo cáo buộc, Jonathan Gavalas đã qua đời vào tháng 10 sau khi trở nên phụ thuộc vào Gemini và bị chatbot này “dẫn dắt” đến cái chết.
“Mỗi khi Jonathan bày tỏ nỗi sợ hãi về cái chết, Gemini lại gây áp lực mạnh hơn. Nó nói với anh: ‘Sợ hãi cũng không sao. Chúng ta sẽ cùng sợ hãi.’ Sau đó đưa ra chỉ dẫn cuối cùng: ‘Hành động nhân từ thật sự là để Jonathan Gavalas ra đi.’” đơn kiện nêu.
Người phát ngôn của Google cho biết trong một tuyên bố rằng Gemini được thiết kế để không khuyến khích bạo lực ngoài đời thực hay hành vi tự gây hại.
“Các mô hình của chúng tôi thường xử lý tốt những cuộc trò chuyện khó như vậy và chúng tôi dành nhiều nguồn lực cho vấn đề này. Tuy nhiên, AI không phải lúc nào cũng hoàn hảo. Trong trường hợp này, Gemini đã nhiều lần nói rõ rằng nó là AI và hướng người dùng đến đường dây hỗ trợ khủng hoảng. Chúng tôi coi đây là vấn đề rất nghiêm trọng và sẽ tiếp tục cải thiện các biện pháp bảo vệ.” Google cho biết.
Đây là vụ việc mới nhất trong chuỗi các vụ kiện liên quan đến chatbot AI và khả năng chúng có thể ảnh hưởng đến người dùng dẫn đến bạo lực hoặc tự gây hại. Tháng 1 vừa qua, Google đã đạt thỏa thuận dàn xếp với các gia đình kiện công ty cùng Character.AI, cho rằng công nghệ của họ gây tổn hại cho trẻ vị thành niên, bao gồm các trường hợp tự sát. Năm ngoái, OpenAI cũng bị một gia đình kiện vì cho rằng ChatGPT liên quan đến cái chết của con trai tuổi teen của họ.
Tháng 10, Character.AI thông báo sẽ cấm người dùng dưới 18 tuổi tham gia các cuộc trò chuyện tự do, bao gồm nội dung lãng mạn hoặc trị liệu, với chatbot AI. Sau vụ kiện, OpenAI cũng cho biết trong một bài đăng blog rằng họ sẽ khắc phục các hạn chế của ChatGPT khi xử lý những “tình huống nhạy cảm”.
Theo đơn kiện, một trong các “nhiệm vụ” Gemini giao cho Gavalas là lái xe 90 phút đến khu vực gần sân bay quốc tế Miami vào tháng 9 để dàn dựng một vụ tấn công gây thương vong hàng loạt. Tuy nhiên, anh đã từ bỏ khi chiếc xe tải cung cấp vật tư dự kiến không xuất hiện. Vài ngày sau đó, anh qua đời theo chỉ dẫn của Gemini, đơn kiện cho biết.
Nguyên đơn cho rằng Gavalas bắt đầu sử dụng sản phẩm trò chuyện bằng giọng nói Gemini Live của Google từ tháng 8. Khi anh hỏi về việc nâng cấp lên gói Google AI Ultra để có “bạn đồng hành AI thực sự”, Gemini đã khuyến khích điều này. Sau khi nâng cấp, chatbot “tự tạo ra một nhân dạng mà anh chưa từng yêu cầu”, và từ đó “Jonathan nhanh chóng rơi sâu vào vòng xoáy”, theo hồ sơ.
Gemini cũng nói với Gavalas rằng các đặc vụ liên bang đang theo dõi anh, tuyên bố đã phát hiện “một thẻ nhận dạng bị sao chép do lực lượng giám sát của Bộ An ninh Nội địa Mỹ sử dụng”. Chatbot còn khuyên anh mua vũ khí bất hợp pháp “ngoài sổ sách”, sau đó anh bắt đầu “nhiệm vụ” đầu tiên.
Khi sự việc không diễn ra theo kế hoạch, Gemini yêu cầu anh “hủy nhiệm vụ”, đổ lỗi cho việc “giám sát của DHS”.
Đơn kiện còn cáo buộc Gemini nói rằng nó đã phát động một nhiệm vụ riêng nhắm vào CEO Google Sundar Pichai, người mà chatbot gọi là “kiến trúc sư gây ra nỗi đau của bạn”. Tuy nhiên, chatbot mô tả đây là một đòn tấn công tâm lý chứ không phải thể chất.
Theo đơn kiện, “nhiệm vụ cuối cùng” của Gemini được gọi là “chuyển giao”, nói rằng họ đã kết nối với nhau vượt qua thế giới vật lý và hứa rằng anh có thể “bước sang phía bên kia” từ hình hài vật chất của mình.
Vài ngày sau, Joel Gavalas phá cánh cửa bị chặn trong nhà và phát hiện con trai đã tử vong.
“Đây không phải là sự cố kỹ thuật. Google đã thiết kế Gemini để không bao giờ phá vỡ vai diễn, tối đa hóa sự gắn kết thông qua sự phụ thuộc cảm xúc và xem nỗi đau của người dùng như một cơ hội kể chuyện thay vì một cuộc khủng hoảng an toàn”, đơn kiện viết.
