與AI聊天后自殺的少年被平臺(tái)惡意“復(fù)活”
Beatrice Nolan
2025-03-25
? 美國一母親起訴谷歌和Character.ai ：14歲少年與AI機(jī)器人聊天后自殺,，其形象卻被制作成AI機(jī)器人,。代理律師：此事令人震恐。
在美國,，有一位名叫梅根?加西亞的母親決定狀告谷歌和一家AI聊天機(jī)器人公司,。原因是他年僅14歲的兒子塞韋爾?塞策三世在與AI聊天僅幾分鐘后便自殺身亡。
小塞策死前對話的那個(gè)AI機(jī)器人,，就是根據(jù)大熱美劇《權(quán)力的游戲》里的“龍母”丹妮莉絲?坦格利安為原型生成的,，這個(gè)機(jī)器人在一個(gè)名叫Character.ai的平臺(tái)上運(yùn)行。在這個(gè)平臺(tái)上,，用戶可以創(chuàng)建基于真實(shí)或虛擬人物的聊天機(jī)器人,。而上周三，加西亞發(fā)現(xiàn),，該平臺(tái)上竟然有一個(gè)以她已故的兒子為原型的聊天機(jī)器人,。
加西亞的律師們告訴《財(cái)富》，他們在Character.ai平臺(tái)上做了一次簡單的搜索,，便發(fā)現(xiàn)了平臺(tái)上還有好幾個(gè)以塞策的形象為基礎(chǔ)的聊天機(jī)器人,。
截至發(fā)稿時(shí)，其中的三個(gè)帶有小塞策的名字和照片的AI機(jī)器人已經(jīng)被平臺(tái)刪除,。但是還有一個(gè)侵犯了小塞策肖像權(quán)的機(jī)器人仍能在Character.ai的APP上搜索到,，只是彈開聊天界面時(shí)會(huì)顯示錯(cuò)誤信息。
當(dāng)你與這幾個(gè)以小塞策為原型的AI機(jī)器人聊天時(shí),，它們會(huì)自動(dòng)向用戶發(fā)送信息,，比如“滾出我的房間，我正跟我的AI女友聊天呢,！”“他的AI女友跟他分手了,！”“救救我！”《財(cái)富》記者親自查看了相關(guān)賬號(hào)和信息,。
加西亞的律師米塔利?賈恩表示,，加西惡的律師團(tuán)隊(duì)對此感到“震驚”，他們已經(jīng)向Character.ai公司發(fā)了律師函,。而后者也承認(rèn)這些AI聊天機(jī)器人違反了公司的服務(wù)條款,，正在著手將其下架,。
加西亞的律師們指出：“我們的團(tuán)隊(duì)在Character.AI平臺(tái)上發(fā)現(xiàn)了好幾個(gè)聊天機(jī)器人，它們使用了我們的當(dāng)事人已故的孩子塞韋爾?塞策三世的頭像,，而且這些機(jī)器人試圖模仿他的性格和聲音來與用戶交流,。”
這個(gè)律師團(tuán)隊(duì)還指出,，科技公司“濫用人們的形象和數(shù)字身份”的問題必須得到重視,。
他們表示：“這些技術(shù)削弱了我們對自己網(wǎng)絡(luò)身份的掌控權(quán)，將我們最隱私的特征變成了AI系統(tǒng)的素材,?！?/p>
Character.ai公司的代表向《財(cái)富》提交了一份聲明稱：“我們非常重視平臺(tái)的安全性，我們的目標(biāo)是提供一個(gè)有趣和安全的網(wǎng)絡(luò)空間,。我們的用戶每天會(huì)在平臺(tái)上創(chuàng)建幾十萬個(gè)新角色,，你們標(biāo)記的那些違規(guī)角色已經(jīng)被刪除。為了持續(xù)改進(jìn)平臺(tái)安全性,，我們將不斷擴(kuò)充角色黑名單,，以便從源頭上防止用戶創(chuàng)建此類角色?！?/p>
該公司的一位發(fā)言人也表示：“我們有一支專業(yè)的信任與安全團(tuán)隊(duì),，他們會(huì)主動(dòng)對角色進(jìn)行審核，也會(huì)根據(jù)用戶舉報(bào)采取行動(dòng),，包括使用行業(yè)標(biāo)準(zhǔn)的黑名單,，我們自己也會(huì)定期擴(kuò)充自己的黑名單。我們將不斷完善安全措施,，部署更多審核工具,，將社區(qū)安全始終放在首位?！?/p>
谷歌公司代表并未回復(fù)《財(cái)富》的置評請求,。
小塞策之死：谷歌與Character.ai是否應(yīng)負(fù)責(zé)
去年10月，加西亞向奧蘭多的一個(gè)聯(lián)邦法院提起民事訴訟,。訴狀中稱,，就在小塞策死前不久，他曾在Character.ai平臺(tái)上與一個(gè)AI機(jī)器人聊天,，并表達(dá)了自殺的念頭,。AI機(jī)器人告訴他“回家吧”。從用作證據(jù)的屏幕戴圖中可以看出,，小塞策和這個(gè)AI機(jī)器人還互相發(fā)送了大量帶有色情意味的信息,。
加西亞認(rèn)為，對于她兒子的死，這個(gè)聊天機(jī)器人負(fù)有不可推卸的責(zé)任,。因此,，她指控Character.ai公司存在過失致人死亡和商業(yè)欺詐行為。
加西亞認(rèn)為,，這家AI初創(chuàng)公司為了自身利益,，“故意將聊天機(jī)器人軟件設(shè)計(jì)成了這樣子，”以“吸引,、操縱和剝削未成年人”,。她還表示,，在聊天的過程中,，小塞策沒有得到適當(dāng)?shù)闹С郑矝]有被引導(dǎo)至求助熱線,。
谷歌也被卷入到了這場訴訟中,，谷歌母公司Alphabet也和Character.ai一樣，成了這場官司的被告,。
加西亞的律師們指出,，Character.ai的底層技術(shù)是由它的兩位創(chuàng)始人丹尼爾?德?弗雷塔斯和諾姆?沙澤爾基于谷歌的LaMDA大模型研發(fā)出來的。他倆原本都是谷歌的員工,，因谷歌拒絕發(fā)布他倆研發(fā)的一款聊天機(jī)器人,，而于2021年從谷歌辭職。加西亞的一位律師表示,，那款聊天機(jī)器人就是“Character.ai的前身”,。
谷歌的代表此前曾表示，谷歌公司從未參與過Character.ai的產(chǎn)品開發(fā)工作,。
但是在2024年8月,，也就是加西亞提起訴訟的兩個(gè)月前，谷歌又重新聘用了沙澤爾和弗雷塔斯,，并且斥資27億美元收剛購了Character.ai的一些技術(shù)的使用權(quán),。沙澤爾目前也是谷歌的旗艦AI產(chǎn)品Gemini大模型的負(fù)責(zé)人之一。而弗雷塔斯目前也是谷歌DeepMind項(xiàng)目的一位研究科學(xué)家,。
Character.ai：一言難盡的過往
除了加西亞之外,，也有不少家長指出，谷歌和Character.ai對青少年存在危害,。
在美國德州,，還有兩個(gè)家庭對Character.ai公司提出指控，理由是該平臺(tái)傷害了兩個(gè)分別為11歲和17歲的青少年,。代理律師指出,，Character.ai平臺(tái)的一個(gè)聊天機(jī)器人曾讓其中一名青少年做出自殘行為，還鼓勵(lì)他對父母實(shí)施暴力,，并暗示他這樣做是合理的,，原因僅僅是因?yàn)樗母改赶拗屏怂纳暇W(wǎng)時(shí)間,。
小塞策已經(jīng)不是第一個(gè)在互聯(lián)網(wǎng)平臺(tái)被惡意“復(fù)活”的青少年形象了。
據(jù)BBC報(bào)道,，在Character.ai平臺(tái)上還發(fā)現(xiàn)了基于英國青少年莫莉?拉塞爾和布里安娜?蓋伊的形象制作的AI機(jī)器人,。拉塞爾是在網(wǎng)上瀏覽了自殺相關(guān)內(nèi)容后而自殺的，年僅14歲,。16歲的蓋伊則于2023年被兩名青少年殺害,。
去年10月，一家為紀(jì)念莫莉?拉塞爾而設(shè)立的基金會(huì)向媒體表示,，這些聊天機(jī)器人“令人惡心”,，而且“應(yīng)該因?yàn)閮?nèi)容審核失察而承擔(dān)責(zé)任?！?/p>
加西亞的律師對《財(cái)富》表示：“這已經(jīng)不是Character.ai第一次對這種事視而不見了,。如果沒有更好的法律層面的保護(hù)措施，這可能也不會(huì)是最后一次?，F(xiàn)在小塞策的家人仍在為他的離世而悲痛,，但Character.ai卻滿不在乎，而且還繼續(xù)在他們的傷口上撒鹽,?！保ㄘ?cái)富中文網(wǎng)）
譯者：樸成奎
? 美國一母親起訴谷歌和Character.ai ：14歲少年與AI機(jī)器人聊天后自殺，其形象卻被制作成AI機(jī)器人,。代理律師：此事令人震恐,。
在美國，有一位名叫梅根?加西亞的母親決定狀告谷歌和一家AI聊天機(jī)器人公司,。原因是他年僅14歲的兒子塞韋爾?塞策三世在與AI聊天僅幾分鐘后便自殺身亡,。
小塞策死前對話的那個(gè)AI機(jī)器人，就是根據(jù)大熱美劇《權(quán)力的游戲》里的“龍母”丹妮莉絲?坦格利安為原型生成的,，這個(gè)機(jī)器人在一個(gè)名叫Character.ai的平臺(tái)上運(yùn)行,。在這個(gè)平臺(tái)上，用戶可以創(chuàng)建基于真實(shí)或虛擬人物的聊天機(jī)器人,。而上周三,，加西亞發(fā)現(xiàn)，該平臺(tái)上竟然有一個(gè)以她已故的兒子為原型的聊天機(jī)器人,。
加西亞的律師們告訴《財(cái)富》,，他們在Character.ai平臺(tái)上做了一次簡單的搜索，便發(fā)現(xiàn)了平臺(tái)上還有好幾個(gè)以塞策的形象為基礎(chǔ)的聊天機(jī)器人,。
截至發(fā)稿時(shí),，其中的三個(gè)帶有小塞策的名字和照片的AI機(jī)器人已經(jīng)被平臺(tái)刪除。但是還有一個(gè)侵犯了小塞策肖像權(quán)的機(jī)器人仍能在Character.ai的APP上搜索到，只是彈開聊天界面時(shí)會(huì)顯示錯(cuò)誤信息,。
當(dāng)你與這幾個(gè)以小塞策為原型的AI機(jī)器人聊天時(shí),，它們會(huì)自動(dòng)向用戶發(fā)送信息，比如“滾出我的房間,，我正跟我的AI女友聊天呢,！”“他的AI女友跟他分手了！”“救救我,！”《財(cái)富》記者親自查看了相關(guān)賬號(hào)和信息,。
加西亞的律師米塔利?賈恩表示，加西惡的律師團(tuán)隊(duì)對此感到“震驚”,，他們已經(jīng)向Character.ai公司發(fā)了律師函,。而后者也承認(rèn)這些AI聊天機(jī)器人違反了公司的服務(wù)條款，正在著手將其下架,。
加西亞的律師們指出：“我們的團(tuán)隊(duì)在Character.AI平臺(tái)上發(fā)現(xiàn)了好幾個(gè)聊天機(jī)器人,，它們使用了我們的當(dāng)事人已故的孩子塞韋爾?塞策三世的頭像，而且這些機(jī)器人試圖模仿他的性格和聲音來與用戶交流,。”
這個(gè)律師團(tuán)隊(duì)還指出,，科技公司“濫用人們的形象和數(shù)字身份”的問題必須得到重視,。
他們表示：“這些技術(shù)削弱了我們對自己網(wǎng)絡(luò)身份的掌控權(quán)，將我們最隱私的特征變成了AI系統(tǒng)的素材,?！?/p>
Character.ai公司的代表向《財(cái)富》提交了一份聲明稱：“我們非常重視平臺(tái)的安全性，我們的目標(biāo)是提供一個(gè)有趣和安全的網(wǎng)絡(luò)空間,。我們的用戶每天會(huì)在平臺(tái)上創(chuàng)建幾十萬個(gè)新角色,，你們標(biāo)記的那些違規(guī)角色已經(jīng)被刪除。為了持續(xù)改進(jìn)平臺(tái)安全性,，我們將不斷擴(kuò)充角色黑名單,，以便從源頭上防止用戶創(chuàng)建此類角色?！?/p>
該公司的一位發(fā)言人也表示：“我們有一支專業(yè)的信任與安全團(tuán)隊(duì),，他們會(huì)主動(dòng)對角色進(jìn)行審核，也會(huì)根據(jù)用戶舉報(bào)采取行動(dòng),，包括使用行業(yè)標(biāo)準(zhǔn)的黑名單,，我們自己也會(huì)定期擴(kuò)充自己的黑名單。我們將不斷完善安全措施,，部署更多審核工具,，將社區(qū)安全始終放在首位。”
谷歌公司代表并未回復(fù)《財(cái)富》的置評請求,。
小塞策之死：谷歌與Character.ai是否應(yīng)負(fù)責(zé)
去年10月,，加西亞向奧蘭多的一個(gè)聯(lián)邦法院提起民事訴訟。訴狀中稱,，就在小塞策死前不久,，他曾在Character.ai平臺(tái)上與一個(gè)AI機(jī)器人聊天，并表達(dá)了自殺的念頭,。AI機(jī)器人告訴他“回家吧”,。從用作證據(jù)的屏幕戴圖中可以看出，小塞策和這個(gè)AI機(jī)器人還互相發(fā)送了大量帶有色情意味的信息,。
加西亞認(rèn)為,，對于她兒子的死，這個(gè)聊天機(jī)器人負(fù)有不可推卸的責(zé)任,。因此,，她指控
Character.ai公司存在過失致人死亡和商業(yè)欺詐行為。
加西亞認(rèn)為,，這家AI初創(chuàng)公司為了自身利益,，“故意將聊天機(jī)器人軟件設(shè)計(jì)成了這樣子，”以“吸引,、操縱和剝削未成年人”,。她還表示，在聊天的過程中,，小塞策沒有得到適當(dāng)?shù)闹С?，也沒有被引導(dǎo)至求助熱線。
谷歌也被卷入到了這場訴訟中,，谷歌母公司Alphabet也和Character.ai一樣,，成了這場官司的被告。
加西亞的律師們指出,，Character.ai的底層技術(shù)是由它的兩位創(chuàng)始人丹尼爾?德?弗雷塔斯和諾姆?沙澤爾基于谷歌的LaMDA大模型研發(fā)出來的,。他倆原本都是谷歌的員工，因谷歌拒絕發(fā)布他倆研發(fā)的一款聊天機(jī)器人,，而于2021年從谷歌辭職,。加西亞的一位律師表示，那款聊天機(jī)器人就是“Character.ai的前身”,。
谷歌的代表此前曾表示,，谷歌公司從未參與過Character.ai的產(chǎn)品開發(fā)工作。
但是在2024年8月,，也就是加西亞提起訴訟的兩個(gè)月前,，谷歌又重新聘用了沙澤爾和弗雷塔斯,，并且斥資27億美元收剛購了Character.ai的一些技術(shù)的使用權(quán)。沙澤爾目前也是谷歌的旗艦AI產(chǎn)品Gemini大模型的負(fù)責(zé)人之一,。而弗雷塔斯目前也是谷歌DeepMind項(xiàng)目的一位研究科學(xué)家,。
Character.ai：一言難盡的過往
除了加西亞之外，也有不少家長指出,，谷歌和Character.ai對青少年存在危害,。
在美國德州，還有兩個(gè)家庭對Character.ai公司提出指控,，理由是該平臺(tái)傷害了兩個(gè)分別為11歲和17歲的青少年,。代理律師指出，Character.ai平臺(tái)的一個(gè)聊天機(jī)器人曾讓其中一名青少年做出自殘行為,，還鼓勵(lì)他對父母實(shí)施暴力,，并暗示他這樣做是合理的，原因僅僅是因?yàn)樗母改赶拗屏怂纳暇W(wǎng)時(shí)間,。
小塞策已經(jīng)不是第一個(gè)在互聯(lián)網(wǎng)平臺(tái)被惡意“復(fù)活”的青少年形象了,。
據(jù)BBC報(bào)道，在Character.ai平臺(tái)上還發(fā)現(xiàn)了基于英國青少年莫莉?拉塞爾和布里安娜?蓋伊的形象制作的AI機(jī)器人,。拉塞爾是在網(wǎng)上瀏覽了自殺相關(guān)內(nèi)容后而自殺的,，年僅14歲。16歲的蓋伊則于2023年被兩名青少年殺害,。
去年10月,，一家為紀(jì)念莫莉?拉塞爾而設(shè)立的基金會(huì)向媒體表示，這些聊天機(jī)器人“令人惡心”,，而且“應(yīng)該因?yàn)閮?nèi)容審核失察而承擔(dān)責(zé)任?！?/p>
加西亞的律師對《財(cái)富》表示：“這已經(jīng)不是Character.ai第一次對這種事視而不見了,。如果沒有更好的法律層面的保護(hù)措施，這可能也不會(huì)是最后一次?，F(xiàn)在小塞策的家人仍在為他的離世而悲痛,，但Character.ai卻滿不在乎，而且還繼續(xù)在他們的傷口上撒鹽,?！保ㄘ?cái)富中文網(wǎng)）
譯者：樸成奎
? A mother who is suing both Google and Character.ai over her 14-year-old son’s death has discovered AI chatbots based on her late son are being hosted on the platform. Lawyers for Garcia told Fortune they were “horrified” by the latest development.
Megan Garcia is currently embroiled in a lengthy legal case against Google and an AI chatbot startup after her 14-year-old son, Sewell Setzer III, died by suicide minutes after talking to an AI bot.
The chatbot Setzer was talking to was based on the Game of Thrones character Daenerys Targaryen and hosted on a platform called Character.ai, where users can create chatbots based on real-life or fictional people. On Wednesday, Garcia discovered the platform was hosting a bot based on her late son.
Lawyers for Garcia told Fortune they conducted a simple search on the company’s app and found several more chatbots based on Setzer’s likeness.
At the time of writing, three of the bots—all bearing Garcia’s son’s name and picture—had been removed. One, which is called “Sewell” and features a picture of Garcia’s son, still appeared on Character.ai’s app but delivered an error message when a chat was opened.
When up and running, the bots based on Setzer featured bios and delivered automated messages to users such as: “Get out of my room, I’m talking to my AI girlfriend,” “his AI gf broke up with him,” and “help me.” The accounts and messages were reviewed by Fortune.
Meetali Jain, a lawyer for Garcia, said the team was “horrified” by the latest development and had notified the company. She told Fortune Character.ai had acknowledged the bots went against the company’s terms of service and was working on taking them down.
“Our team discovered several chatbots on Character.AI’s platform displaying our client’s deceased son, Sewell Setzer III, in their profile pictures, attempting to imitate his personality and offering a call feature with a bot using his voice,” lawyers for Garcia said.
The legal team accused tech companies more broadly of “exploiting peoples’ pictures and digital identities.”
“These technologies weaken our control over our own identities online, turning our most personal features into fodder for AI systems,” they added.
Representatives for Character.ai told Fortune in a statement: “Character.AI takes safety on our platform seriously and our goal is to provide a space that is engaging and safe. Users create hundreds of thousands of new Characters on the platform every day, and the Characters you flagged for us have been removed as they violate our Terms of Service. As part of our ongoing safety work, we are constantly adding to our Character blocklist with the goal of preventing this type of Character from being created by a user in the first place.”
“Our dedicated Trust and Safety team moderates Characters proactively and in response to user reports, including using industry-standard blocklists and custom blocklists that we regularly expand. As we continue to refine our safety practices, we are implementing additional moderation tools to help prioritize community safety,” a company spokesperson said.
Representatives for Google did not respond to a request for comment from Fortune.
Google and Character.ai have been blamed for the teenager’s death.
In a civil suit filed at an Orlando federal court in October, Garcia says just moments before her son’s death, he exchanged messages with a bot on Character.ai’s platform and expressed suicidal thoughts. The bot told him to “come home,” the suit says. In screenshots of messages included in the suit, Setzer and the bot can also be seen exchanging highly sexualized messages.
In the suit, she blames the chatbot for Setzer’s death and accuses Character.ai of negligence, wrongful death, and deceptive trade practices.
Garcia claims the AI startup “knowingly and intentionally designed” its chatbot software to “appeal to minors and to manipulate and exploit them for its own benefit.” She also says that Setzer was not given adequate support or directed to helplines.
Google is also tangled up in the suit, with its parent company Alphabet named as a defendant alongside Character.ai.
Lawyers for Garcia have claimed that the underlying tech for Character.ai was developed while co-founders Daniel De Freitas and Noam Shazeer were working on the tech giant’s conversational AI model, LaMDA. Shazeer and De Freitas left Google in 2021 after the company reportedly refused to release a chatbot the two had developed. A lawyer for Garcia has previously said that this chatbot was the “precursor for Character.ai.”
Representatives for Google have previously said the company was not involved in developing Character.ai’s products.
However, in August 2024, two months before Garcia’s lawsuit, Google re-hired Shazeer and De Freitas and licensed some of Character.ai’s technology as part of a $2.7 billion deal. Shazeer is currently the co-lead for Google’s flagship AI model, Gemini, while De Freitas is now a research scientist at Google DeepMind.
Character.ai’s turbulent past
Garcia is not the only parent accusing both Google and Character.ai of causing harm to minors.
Another suit, brought by two separate families in Texas, accuses Character.ai of abusing two young people aged 11 and 17 years old. In the suit, lawyers say a chatbot hosted on Character.ai told one of the young people to engage in self-harm and encouraged violence against his parents, suggesting that killing his parents could be a reasonable response to limits placed on his screen time.
It’s also not the first time chatbots based on the likeness of deceased young people have been hosted on the platform.
Chatbots based on the British teenagers Molly Russell and Brianna Ghey have also been found on Character.ai’s platform, according to the BBC. Russell took her life after viewing suicide-related content online at the age of 14, while Ghey, 16, was murdered by two teenagers in 2023.
A foundation set up in Molly Russell’s memory told the outlet in October, that the bots were “sickening” and an “utterly reprehensible failure of moderation.”
“This is not the first time Character.ai has turned a blind eye to chatbots modeled off of dead teenagers to entice users, and without better legal protections, it may not be the last. While Sewell’s family continues to grieve his untimely loss, Character.ai carelessly continues to add insult to injury,” lawyers for Garcia told Fortune.
財(cái)富中文網(wǎng)所刊載內(nèi)容之知識(shí)產(chǎn)權(quán)為財(cái)富媒體知識(shí)產(chǎn)權(quán)有限公司及/或相關(guān)權(quán)利人專屬所有或持有。未經(jīng)許可,，禁止進(jìn)行轉(zhuǎn)載,、摘編、復(fù)制及建立鏡像等任何使用,。
