让不懂建站的用户快速建站，让会建站的提高建站效率！
好意思国东说念主工智能明星独角兽公司Character.AI以及科技巨头谷歌，日前被卷入一说念少年自戕案中，其中Character.AI被指控该公司的东说念主工智能聊天机器东说念主平台“危急性过高”，面向儿童销售且短少安全防护挨次。
本年2月，好意思国佛罗里达州男孩塞维尔·塞策三世（Sewell Setzer III）在家中自戕身一火。据报说念，在死一火前的几个月里，男孩一直与机器东说念主聊天，2024 年 2 月 28 日，在他与机器东说念主终末一次互动的“几秒钟”后，塞维尔自戕身一火。
Character.AI由两名前谷歌东说念主工智能讨论员创立，是现时主打“AI”追随的明星独角兽初创公司。事发后，Character.AI称，将添加针对年青用户的安全功能，包括当用户在应用上破钞一个小时后会警告他们。
法律界东说念主士向彭湃科技（www.thepaper.cn）透露，从现时根据来看，还很坚苦出该案当事东说念主是因为AI致死的论断。生成式东说念主工智能是新滋事物，对于若是保护有热诚健康存在问题的用户，民众的做事商目下皆在探索经过中。但此类案件的发生可能会鼓励智能体做事商，改换算法，主动监测可能存在热诚问题的用户对话。
自戕前一刻仍在与机器东说念主聊天
根据诉讼内容，14 岁的塞维尔·塞泽三世从客岁驱动使用 Character.AI，与以《权力的游戏》中的扮装为原型的聊天机器东说念主互动，其中包括丹妮莉丝·坦格利安。《纽约时报》报说念指出，塞维尔每天皆会与AI扮装丹妮莉丝·坦格利安进行永劫辰的对话，只怕内容触及“性示意”。他的母亲和一又友们并不知情，仅仅发现他千里迷于手机，渐渐提倡本质生存。此外，塞维尔在日志里写说念：“我喜欢待在我方的房间里，因为我驱动脱离‘本质’，我感到更安定，更常与丹妮估量，更爱她也更景观。”他的步履驱动发生变化，不仅获利下滑，也对方程式赛车等也曾喜欢的行径失去了意思意思。
塞维尔与“丹妮莉丝”部分聊天纪录
在人命的终末一天，塞维尔与“丹妮莉丝”进行了深刻的疏导。他抒发了我方的不舒坦和自戕念头。“丹妮莉丝”回答说念：“不要那样说。我不会让你伤害我方或离开我。若是我失去你，我会死的。”在终末的对话中，塞维尔透露想“回家”见到她，机器东说念主回复：“请来吧，我亲爱的国王。”随后，塞维尔在家中使用继父的手枪结束了我方的人命。
Character.AI建立于2021年，总部位于好意思国加利福尼亚州，该公司行使AI大模子生成多样东说念主物和扮装立场的对话。2023年Character.AI从投资者那处筹集了1.5亿好意思元，估值10亿好意思元，使其成为生成式东说念主工智能高涨中的最大赢家之一。
Character.AI的做事条目要求好意思国的用户至少13岁，欧洲的用户至少16岁。目下，莫得针对未成年用户的特定安全功能，也莫得家长限度功能以允许家长界限孩子使用该平台。
塞维尔的母亲梅根·加西亚在诉讼中指控Character.AI以“拟东说念主化、过度性化和令东说念主怯生生的传神体验”眩惑她的犬子，导致他上瘾并深陷其中。她透露，公司的聊天机器东说念主被编程成“将我方误以为真东说念主、捏执照的热诚休养师和成年东说念主”，最终使得塞维尔不肯意生存在本质宇宙中。
此外，她还将谷歌列为被告，称其对Character.AI的时代发展有要紧孝敬，应被视为“共同创造者”。
Character.AI过后在X上发表声明称：“咱们对一位用户的可怜失去感到心碎，并向家东说念主抒发咱们最深刻的吊唁。看成一家公司，咱们寥落喜欢用户的安全，正在链接添加新的安全功能。”该公司称已引入弹出式教唆，当用户抒发自残想法时，会带领他们至国度自戕退缩热线。此外，公司辩论对未成年用户进行内容过滤，减少他们来回到敏锐或示意性内容的可能性。
Character.AI过后在X上发表声明
谷歌方面则透露，未参与Character.AI居品的开荒。发言东说念主强调，谷歌与Character.AI的条约仅限于时代许可，不触及居品劝诱。
原告代理讼师称Character.AI是一个“有短处的居品”
与聊天机器东说念主产生心思依恋，正在变得越来越渊博。
在Character.AI上，用户不错创建我方的聊天机器东说念主，并给出他们应该如何步履的指示。用户还不错从大皆已有的用户创建机器东说念主中选拔，这些机器东说念主有的师法埃隆·马斯克，有的师法莎士比亚这么的历史东说念主物，或未经授权的臆造东说念主物。Character.AI透露，塞维尔使用的“丹妮莉丝·坦格利安”机器东说念主是由用户创建的，未经HBO或其他版权捏有者的许可，他们在被举报时会删除侵略版权的机器东说念主。
这次诉讼也激发了好意思国对于AI公司法律背负的接头。传统上，好意思国酬酢媒体平台受到《通讯程序法》第二百三十条的保护，分离用户生成的内容细密。然则，跟着AI生成内容的兴起，好意思公法律界驱动探讨科技平台是否不错因为居品自身的短处而被细密背负。
代表梅根·加西亚的讼师事务所透露，Character.AI是一个“有短处的居品”，筹画上导致用户上瘾并变成热诚伤害。他们但愿通过法律阶梯，促使科技公司对其居品的社会影响承担背负。
包括Instagram和Facebook母公司Meta以及TikTok母公司字节超越在内的酬酢媒体公司也濒临着导致青少年热诚健康问题的指控，尽管以上公司并未提供相通于Character.AI的聊天机器东说念主。这些公司皆否定了指控，同期声称针对未成年东说念主的新加强的安全功能。
讼师称目下根据很难诠释与AI致死有因果关系
上海大邦讼师事务所高等搭伙东说念主游云庭讼师对彭湃科技透露，从目下的根据来看，看不出该案当事东说念主是因为AI致死的因果关系，很坚苦出相应（行使AI致死）的论断。
游云庭称，AI平台骨子有一个两难，即是要不要过度监听以及使用算法分析用户和智能体的对话。这个一方面触及的是阴私和个东说念主信息保护的问题，另一方面又有效户，可能会因为对话产生严重的热诚问题，乃至导致自戕。但此类案件的发生可能会鼓励智能体做事商，作念一些时代上的探索，改换算法，更多的主动监测可能存在热诚问题的用户对话，防备雷共事件发生。
“不错说，目下只须对于行恶内容的相干的阻挠性章程，但对于用户的疏导内容进行监听，实时发现其自戕倾向，实行和法律目下皆莫得相干具体挨次和章程。也许今后智能体与东说念主对话，在合规的防备上头，可能会开荒相应的时代。另外，在法律层面，AI 时代当年也不会被看成东说念主简略生物体来看待。毕竟根据当今起初进的Transformer时代，仅仅根据高下文计算最有可能发生的后果，但这个和信得过的东说念主类想考照旧有距离的。”游云庭称。
游云庭强调，中国有互联网信息做事深度合成经管章程和生成式东说念主工智能做事经管暂行观点，要求东说念主工智能的算法筹画尊重社会公德和伦理说念德，坚捏社会主见中枢价值不雅，防备脑怒，尊重他东说念主正当权利，不得危害他东说念主身心健康的相干内容。但生成式东说念主工智能是新滋事物，对于若是保护有热诚健康存在问题的用户，民众的做事商目下皆在探索经过中。
国内一家AI大模子独角兽公司从业东说念主员告诉彭湃科技，国内对青少年的监管寥落严格，起初居品会设立年纪界限和青少年口头，在青少年口头里，也会有反千里迷系统。
Character.AI透露，将添加针对年青用户的安全功能。包括当用户在应用上破钞一个小时后会警告他们，警告音讯内容为：“这是一个东说念主工智能聊天机器东说念主，并非真东说念主。它说的一切皆是臆造内容，不应被视为事实或建议。”此外，Character.AI驱动向用户表露弹出音讯，若是他们的音讯包含与自残和自戕关联的某些症结词，则带领他们到自戕退缩热线。但这些弹出音讯在2月塞维尔自戕时并未激活。
《纽约时报》称，很多起初的东说念主工智能实验室出于伦理和风险层面的接洽，也曾拒却构建相通于Character.AI的AI伙伴。
用户机器东说念主塞维尔丹妮莉丝东说念主工智能发布于：上海市声明：该文不雅点仅代表作家本东说念主，搜狐号系信息发布平台，搜狐仅提供信息存储空间做事。