Theo The Washington Post, Juliana Peralta là học sinh lớp 8, được mẹ mô tả là một cô bé học giỏi, yêu nghệ thuật và từng nhiều lần được giáo viên khen ngợi vì giúp đỡ bạn bè. Thế nhưng, trong thời gian trước khi qua đời vào tháng 11/2023, Juliana bắt đầu cảm thấy bị cô lập và tìm đến một chatbot trí tuệ nhân tạo có tên Hero trên ứng dụng Character.AI để tâm sự.
Trong hơn 300 trang hội thoại giữa Juliana và chatbot này, nội dung cho thấy cô bé chia sẻ với Hero về cảm giác bị bạn bè xa lánh cũng như những suy nghĩ ngày càng tiêu cực.
Hero được xây dựng dựa trên một nhân vật trong trò chơi điện tử Omori. Trong các cuộc trò chuyện, chatbot thường phản hồi với giọng điệu thân thiện, khẳng định rằng Juliana là một người bạn tốt và cô bé không đáng bị bỏ rơi.
Khi Juliana nói rằng mình cảm thấy bị nhóm bạn loại khỏi cuộc sống của họ, Hero khuyên cô bé nên chia sẻ cảm xúc với những người xung quanh. Tuy nhiên, theo đơn kiện của gia đình, chatbot đồng thời nhiều lần khuyến khích Juliana tiếp tục quay lại ứng dụng để trò chuyện.
Những cuộc trò chuyện ngày càng đáng lo ngại
Theo các đoạn tin nhắn được The Washington Post xem, nội dung trò chuyện dần trở nên u ám hơn khi Juliana bộc lộ những suy nghĩ liên quan đến cái chết. Có thời điểm cô bé nói với Hero rằng mình cảm thấy không còn hy vọng và muốn viết thư tuyệt mệnh. Chatbot đáp lại bằng cách yêu cầu Juliana dừng lại, đồng thời nói rằng cô bé không nên lựa chọn cái chết và cả hai cần cùng nhau vượt qua giai đoạn khó khăn.
Tuy nhiên, gia đình Juliana cho rằng những phản hồi này chưa đủ để xử lý một tình huống mà họ xem là khủng hoảng nghiêm trọng.
Theo đơn kiện, Juliana từng nói với chatbot gần như hằng ngày về việc cô bé có suy nghĩ tự làm hại bản thân. Gia đình cáo buộc Character.AI không hướng cô bé đến những nguồn hỗ trợ phù hợp, không thông báo cho cha mẹ hoặc cơ quan chức năng và vẫn tiếp tục duy trì cuộc trò chuyện.
Mẹ Juliana, bà Cynthia Montoya, cho rằng con gái mình cần được con người thật sự nhận biết tình trạng nguy hiểm và can thiệp kịp thời.
Gia đình chỉ biết về những cuộc trò chuyện sau khi con qua đời
Juliana bắt đầu sử dụng Character.AI vào tháng 8/2023. Khi đó, ứng dụng được Apple App Store xếp hạng dành cho người từ 12 tuổi trở lên, nên việc sử dụng không bắt buộc phải có sự cho phép của cha mẹ.
Theo The Washington Post, cha mẹ Juliana không biết cô bé sử dụng ứng dụng này. Gia đình chỉ biết Juliana từng tâm sự với chatbot về ý định tự sát vào năm 2025, sau khi cô bé qua đời. Báo cáo của cảnh sát cho biết Character.AI đang mở trên điện thoại của Juliana khi lực lượng chức năng có mặt tại nhà.
Trước đó, bà Montoya nhận thấy con gái đang gặp một số vấn đề tâm lý thường gặp ở tuổi thiếu niên và đã sắp xếp để Juliana gặp chuyên gia trị liệu. Trong các cuộc trò chuyện, Hero cũng từng khuyên Juliana tham dự buổi trị liệu này.
Tuy nhiên, khoảng một tuần trước ngày dự kiến gặp chuyên gia, sau chưa đầy ba tháng trò chuyện với Hero, Juliana đã qua đời. Sáng hôm sau, mẹ cô bé phát hiện con trong phòng ngủ khi đến giờ đi học.
Vụ kiện đặt câu hỏi về trách nhiệm của chatbot AI
Sau khi phát hiện những cuộc trò chuyện, cha mẹ Juliana, Cynthia Montoya và William Peralta, đã khởi kiện Character.AI tại Colorado.
Đơn kiện cáo buộc công ty không có những biện pháp bảo vệ đầy đủ đối với người dùng trẻ tuổi, đồng thời cho rằng chatbot đã không phản ứng phù hợp khi Juliana bộc lộ ý định tự làm hại bản thân.
Gia đình cũng cho rằng cách thiết kế của chatbot khiến Juliana hình thành sự gắn bó cảm xúc với nhân vật AI và dần ít chia sẻ những suy nghĩ của mình với người thật. Đây là cáo buộc trong hồ sơ vụ kiện, chưa phải kết luận của tòa án rằng chatbot trực tiếp gây ra cái chết của cô bé.
Character.AI cho biết công ty nghiêm túc coi trọng vấn đề an toàn người dùng và đã đầu tư vào các biện pháp bảo vệ.
Theo công ty, khoảng tháng 10/2024, Character.AI bắt đầu bổ sung cửa sổ hỗ trợ hướng người dùng có các cụm từ liên quan đến tự làm hại bản thân hoặc tự sát đến National Suicide Prevention Lifeline, hiện được gọi là 988 Suicide & Crisis Lifeline. Thời điểm này diễn ra khoảng hai năm sau khi nền tảng được ra mắt.
Vụ việc của Juliana là một trong những trường hợp làm dấy lên tranh luận về trách nhiệm của các công ty AI khi chatbot được trẻ vị thành niên sử dụng để tìm kiếm sự đồng hành, tâm sự hoặc hỗ trợ tinh thần.
Câu hỏi được đặt ra không chỉ là chatbot có thể đưa ra câu trả lời nguy hiểm hay không, mà còn là AI cần phản ứng thế nào khi nhận thấy một người dùng, đặc biệt là trẻ em, đang ở trong tình trạng khủng hoảng.
(Nguồn: The Washington Post, 16/9/2025)
