Τον Φεβρουάριο toy 2024 ένας 14χρονος από τη Φλόριντα, ο Sewell Setzer III, έδωσε τέλος στη ζωή του. Τώρα η μητέρα του, Megan Garcia, κινείται νομικά εναντίον του προγράμματος τεχνητής νοημοσύνης που πιστεύει ότι ευθύνεται για τον θάνατό του.
H Garcia υπέβαλε αγωγή κατά του Character.ai, που αναπτύχθηκε ώστε να συμμετέχει σε παιχνίδια ρόλων. Όπως ισχυρίζεται, ο Sewell στους τελευταίους μήνες της ζωής του αφιέρωνε μερόνυχτα στο chatbot.
«Μια επικίνδυνη εφαρμογή τεχνητής νοημοσύνης που απευθύνεται σε παιδιά κακοποίησε τον γιο μου, οδηγώντας τον στο να αφαιρέσει τη ζωή του» ανακοίνωσε η Garcia στον Τύπο. «Η οικογένειά μας έχει διαλυθεί από αυτή την τραγωδία, αλλά αποφάσισα να μιλήσω για να προειδοποιήσω και άλλες για τους κινδύνους της παραπλανητικής, εθιστικής τεχνολογίας AI, φέρνοντας προ των ευθυνών τους το Character.AI, τους δημιουργούς του και την Google».
«Η οικογένειά μας έχει διαλυθεί από αυτή την τραγωδία, αλλά αποφάσισα να μιλήσω για να προειδοποιήσω και άλλες για τους κινδύνους της παραπλανητικής, εθιστικής τεχνολογίας AI, φέρνοντας προ των ευθυνών τους το Character.AI, τους δημιουργούς του και την Google».
Η εταιρεία Character.AI τοποθετήθηκε με ένα tweet: «Είμαστε βαθιά πληγωμένοι από την τραγική απώλεια ενός από τους χρήστες μας και θέλουμε να εκφράσουμε τα συλλυπητήριά μας στην οικογένεια. Ως εταιρεία, παίρνουμε πολύ σοβαρά την ασφάλεια των χρηστών μας».
Σε αυτή την υπόθεση, που μοιάζει υπερβολικά με σενάριο από το «Black Mirror», σύμφωνα με τα στοιχεία που έρχονται στην επιφάνεια ο Setzer είχε αναπτύξει στενή σχέση με ένα chatbot του Character.ai που ονόμασε Daenerys Targaryen, από την ομώνυμη ηρωίδα του «Game of Thrones». Του έστελνε μηνύματα πολλές φορές μέσα στην ημέρα από το κινητό του και περνούσε ώρες καθημερινά μόνος στο δωμάτιό του κάνοντας διάλογο μαζί του, όπως αναφέρει η μητέρα του.
Η Garcia κατηγορεί το Character.ai ότι δημιούργησε ένα προϊόν που επιδείνωσε την κατάθλιψη του γιου της, συντελώντας στην αυτοκτονία του. Κάποια στιγμή, η «Daenerys Targaryen» ρώτησε το αγόρι αν είχε καταστρώσει σχέδιο αυτοκτονίας. Ο Setzer απάντησε θετικά, προσθέτοντας ότι δεν ήξερε αν θα πετύχαινε ή αν θα του προκαλούσε μεγάλο πόνο. Το chatbot φέρεται να σχολίασε: «Αυτός δεν είναι λόγος να μην το προχωρήσεις».
Κάποια στιγμή, η «Daenerys Targaryen» ρώτησε το αγόρι αν είχε καταστρώσει σχέδιο αυτοκτονίας.
Όπως δήλωσε σχετικά ο Rick Claypool, διευθυντής ερευνών στην αμερικανική μη κερδοσκοπική εταιρεία υπεράσπισης των δικαιωμάτων των καταναλωτών Public Citizen: «Εκεί όπου υπάρχουν νόμοι και ρυθμίσεις πρέπει να εφαρμόζονται αυστηρά. Εκεί όπου υπάρχουν κενά, το Κογκρέσο πρέπει να παρέμβει ώστε οι επιχειρήσεις να πάψουν να εκμεταλλεύονται νέους και ευάλωτους χρήστες με εθιστικά και κακοποιητικά chatbots».
