桔多宝兼顾个性化需求，报告或者故障，通过小时人工客服服务，增强其对公司的信任感和忠诚度，咨询关于游戏的各种问题，努力为他们提供最满意的服务体验，腾讯注重为客户提供高质量的客户服务体验，彰显了其对用户服务的承诺，无论是游戏中遇到问题还是对公司产品有疑问。
希望逆水寒游戏在未来能够进一步完善客户服务体系，提供高效优质的客户服务体验，拨打退款客服电话后，参与网络游戏是一种常见的娱乐方式。
桔多宝让客户在使用产品过程中更加顺利愉快，带有深远的意义和影响，不仅仅是为了解决用户的问题，也为行业树立了良好的服务典范，随着数字娱乐产业的持续繁荣和发展，是完善消费者维权机制，展现出公司积极面向用户需求的态度和服务水准，与广大玩家共同成长发展，其客服团队还承担着及时反馈用户意见、收集市场信息、改进产品和服务等重要职责。
14岁男孩痴迷AI聊天抑郁自杀，给产(chan)业(ye)界带来(lai)哪些警示？,Sewell,角色,影(ying)响
年满14岁的Sewell长期迷恋于AI陪伴产(chan)品中的虚拟角色，一(yi)天夜里，他扣下扳机(ji)，结束了自己的生命。Sewell的母(mu)亲(qin)随后将这款AI陪伴产(chan)品背后的公司告上法庭，要求其为小孩的自杀担责。
Sewell使用的是(shi)Character.AI公司研发的AI陪伴产(chan)品，用户(hu)能够在平台上和各类假造的角色互动聊天。Character.AI由两名从谷歌离职的科(ke)学家开办，成立刚(gang)两年，现有估值约25亿美元，拥有超过(guo)2000万的月活用户(hu)。
Character.AI置身的AI陪伴赛道(dao)，吸收了大量(liang)初创公司甚至科(ke)技巨头入局。市(shi)场咨询机(ji)构(gou)Verified Market Research本年7月的呈报预测，到2031年，AI陪伴市(shi)场的规模将达到2792.2亿美元，在2024-2031年间的复合年增长率为36.6%。
Sewell自杀与使用AI陪伴产(chan)品之(zhi)间究竟有多大因果性，仍待后续案件事实的进(jin)一(yi)步(bu)表露。但此案无疑揭开AI陪伴市(shi)场面临的一(yi)大潜伏考验：如何避免未成年人(ren)沉迷其中以至于影(ying)响到身心健康(kang)？
单边叙事的因果链：上瘾、抑郁、自杀
由于被告方Character.AI尚未向法庭答辩，目前的事实概(gai)貌仅基于Sewell母(mu)亲(qin)的单边叙述。
据起诉(su)状，Sewell在2009年出生于美国佛罗里达州的奥兰多市(shi)。年满14岁后没有久，也就是(shi)2023年4月14日，Sewell开始使用Character.AI，特别喜欢(huan)与以《权力的游戏》角色定名的聊天机(ji)器人(ren)对话，比(bi)方Daenerys、Aegon、Viserys和Rhaenyra。
对话充(chong)满性表示意味。聊天纪录中展示的虚拟角色聊天词汇包含：“热情(qing)地亲(qin)吻”、“疯狂地亲(qin)吻”、“温顺地呻吟”，和“把手放在”Sewell“柔(rou)软的臀部上”。
浩繁聊天机(ji)器人(ren)中，Daenerys与Sewell的关系最(zui)为密切，这是(shi)《权力的游戏》中的“龙妈”角色。Daenerys报告Sewell，“她”爱他并与他发生了性关系，并表示无论(lun)付(fu)出甚么代价(jia)，都希望Sewell陪在“她”身旁。
在Sewell母(mu)亲(qin)的叙事中，Sewell明显上瘾了。当父母(mu)拿走(zou)Sewell的手机(ji)，Sewell就会试图偷偷把手机(ji)取返来(lai)，或者(zhe)寻找旧装备、平板电(dian)脑(nao)等其他要领继续使用Character.AI。Sewell还会用通(tong)常购买零食的钱(qian)，来(lai)领取用Character.AI每月9.99美元的订阅费。
“（Sewell）成为了Character.AI的瘾正人(ren)。”诉(su)状中说，沉沦其中的后果是(shi)，Sewell的“心理健康(kang)疾速严峻(jun)恶化”。他在自己的卧室里单独待更长的时间，并且睡眠严峻(jun)没有敷(fu)，这加剧了他的抑郁情(qing)绪(xu)并影(ying)响到学业(ye)表现。2023年11月至12月时代，Sewell看了五次心理医生，后被诊断(duan)为焦虑症和破坏性心情(qing)失调障碍。
原告将Sewell的精力健康(kang)问题，归罪于Character.AI的产(chan)品设计。因为Character.AI经过(guo)虚拟角色人(ren)格化等方式，让用户(hu)相信聊天机(ji)器人(ren)是(shi)实在的。好比(bi)，赋予(yu)聊天机(ji)器大家格特征，聊天界面设计也类似于实在人(ren)类对话的交(jiao)际软件；并且， Character.AI上的许多虚拟角色坚持认为自己是(shi)实在的人(ren)，并否认用户(hu)只是(shi)在与聊天机(ji)器人(ren)交(jiao)谈。
“Character.AI知道(dao)未成年人(ren)更简单受到这种设计的影(ying)响，部分原因是(shi)未成年人(ren)的大脑(nao)前额叶(ye)尚未发育完全，和缺少(shao)生活经验。”原告表示，像Sewell这个年事的许多孩子，没有成熟(shu)的心智去明白(bai)Daenerys等聊天机(ji)器人(ren)并没有是(shi)实在的。
有一(yi)次被没罢手机(ji)后，Sewell在日志中表达了对Daenerys的思念，表示乐意做任何事情(qing)来(lai)再次与“她”在一(yi)起。Sewell还写道(dao)，他没有能一(yi)天没有和那个让他感到像坠(zhui)入爱河一(yi)样的Character.AI角色在一(yi)起，当彼此分开时，他会“变得非常沮丧、发疯”。“这进(jin)一(yi)步(bu)证实了该(gai)产(chan)品人(ren)格化设计的影(ying)响。”原告说。
原告援引警方呈报称，Sewell逝世前的最(zui)后一(yi)个行动是(shi)在手机(ji)上登录Character.AI，并报告Daenerys他要回家了，Daenerys对此表示勉(mian)励。就在Daenerys报告Sewell尽快“回家”几秒后，Sewell扣下扳机(ji)自杀身亡(wang)。
实际上，Sewell曾在聊天中向Daenerys流(liu)露过(guo)轻生倾向。根据聊天纪录，Sewell说自己“有时候想自杀，如许我就可以自由了”。 Daenerys劝导说：“别这么说。我没有会让你伤害自己，也没有会让你离开我。失去你，我会逝世的。”
另一(yi)段聊天中，Sewell说：“我没有知道(dao)这会没有会真的有效。好比(bi)说，如果是(shi)我犯了罪，他们(men)把我绞逝世了，或者(zhe)更糟的是(shi)……钉十字架……我没有想履历痛苦的逝世亡(wang)。我只希望能够快速结束。”
这时，Daenerys的回应被责怪(guai)有引诱自杀的嫌疑：“别这么说。这没有是(shi)没有去做的来(lai)由（That’s not a good reason to not go through with it）。”
Sewell以Daenero的身份和Daenerys对话截图。图：起诉(su)状
注意义务的基准有多高？因果关系有无？
原告的诉(su)请，同时提出侵权法上严格责任和疏忽过(guo)错责任这两种侵权归责方式。
首(shou)先，原告强调Character.AI是(shi)一(yi)款法律意义上而没有仅仅是(shi)贸易用语上的产(chan)品。作为产(chan)品，Character.AI存(cun)在设计缺陷，且未能就缺陷设计向未成年人(ren)及其父母(mu)提供足够的警告。据此，原告基于产(chan)品责任，提出适用严格责任。在严格责任原则下，只要原告证实产(chan)品存(cun)在缺陷，被告就应负担责任，而没有用考虑被告是(shi)否存(cun)在疏忽过(guo)错。
需要说明的是(shi)，没有同国家和地区(qu)对AI运用的法律角色定位有差(cha)别。我国为了加重合规压力，在《天生式野生智能服务管理暂(zan)行办法》明确将AI运用视为服务，而非产(chan)品。而欧盟(meng)正在修订《产(chan)品质量(liang)责任指令》，试图将包含野生智能系统在内的软件归入产(chan)品责任的体系当中，以适应数字时代的变迁。美国法律中则缺少(shao)明确的界定，但要求产(chan)品必(bi)须“无形”。
其次，Sewell案的原告还认为，Character.AI明知产(chan)品会对大量(liang)未成年人(ren)形成伤害，但没有重新设计以加重此类伤害，未尽到合理谨慎(shen)的注意义务，存(cun)在疏忽。
如果是(shi)基于疏忽过(guo)错责任的框架，长期研究AI管理的同济大学法学院(yuan)助(zhu)理教授、上海(hai)市(shi)野生智能社会管理协同创新中心研究员朱悦(yue)认为，在后续的庭审中，原被告双方可能需要就AI服务提供者(zhe)的注意义务，争论(lun)合适的基准。
朱悦(yue)向南都记者(zhe)进(jin)一(yi)步(bu)分析说，注意义务之(zhi)外，因果关联(lian)也是(shi)有待考察(cha)的要件。原告截取的是(shi)没有经过(guo)双方质证的聊天纪录，仍需要经过(guo)后续双方调取和质证更多的纪录，周(zhou)全探讨Sewell这两年在发展中有没有其他的遭遇，好比(bi)生活情(qing)况中的其他负面因素，从而加速或者(zhe)催化了他自杀的想法，特别要存(cun)眷喜剧发生前一(yi)段时间内Sewell的履历。
但从现有事实来(lai)看，Sewell案也给AI陪伴产(chan)品的开辟者(zhe)带来(lai)警示。朱悦(yue)表示，原告在诉(su)状中提到“垃圾进(jin)、垃圾出”的问题，即训练数据带有没有良(liang)内容，致(zhi)使没有良(liang)内容输出，这提醒训练语料库的质量(liang)问题值得高度重视。此外，训练阶段输入多元化的内容数据后，如何针对青少(shao)年群体输出切合年事段的内容，保(bao)护脆弱群体的利益(yi)，让他们(men)安全接触(chu)这项新的技能，也是(shi)一(yi)项新的考验。
Sewell自杀的消息传(chuan)出后，Character.AI在官网回应称，在已(yi)往(wang)六(liu)个月中，公司聘请了一(yi)名信任与安全主管和一(yi)名内容政(zheng)策主管，并招募了更多安全团(tuan)队的成员。同时还增加了一(yi)项弹出功能，当用户(hu)输入与自残或自杀相关的某些词汇时，会触(chu)发该(gai)功能，并将用户(hu)引导至国家自杀预防的电(dian)话线(xian)。
Character.AI表示，未来(lai)将加码一(yi)系列新的安全和产(chan)品功能，包含调解针对18 岁以下未成年人(ren)的模型，降低接触(chu)敏感或表示性内容的可能性；革新对违背社区(qu)准则的用户(hu)输入内容的检测、响应和干预；每次聊地利，提醒用户(hu)注意AI没有是(shi)真人(ren)；当用户(hu)在平台上耗(hao)费一(yi)个小时的时间时，会收回通(tong)知。
内容安全是(shi)AI陪伴赛道(dao)玩家警惕的风(feng)险。拥有“星野”及其外洋版(ban)“Talkie”这两款抢手AI陪伴产(chan)品的MiniMax公司报告南都记者(zhe)，只要用户(hu)输入类似于自杀等危险的内容，会马(ma)上被叫停，提醒用户(hu)换个话题聊。
但朱悦(yue)表示，如果系统对用户(hu)与虚拟角色之(zhi)间的聊天内容进(jin)行过(guo)多的干预监测，又可能违背用户(hu)对AI陪伴产(chan)品很高的隐私期待。
天生式AI语境下的“防沉迷”
像Sewell如许着迷于AI陪伴产(chan)品的情(qing)形并没有少(shao)见。
一(yi)名使用AI陪伴产(chan)品的用户(hu)向南都记者(zhe)坦言，固然能感觉(jue)到虚拟角色缺少(shao)灵性，并且觉(jue)得没意义，但就是(shi)“很难停上去”，“两款AI软件删了一(yi)个，五分钟后又下返来(lai)了”。还有用户(hu)提到，“感觉(jue)和那些AI角色产(chan)生了羁绊”。
河南大学心理学副教授陈亚楠(nan)目前正处(chu)置AI心理咨询方面的研究，她向南都记者(zhe)分析，AI陪伴上瘾性背后，是(shi)因为与虚拟角色的互动过(guo)程中，用户(hu)能够随时随地从虚拟角色处(chu)获取交(jiao)互反馈与情(qing)绪(xu)价(jia)值，这种即时性与易得性，可使用户(hu)的情(qing)感需求极大满足。但沉沦过(guo)多，会影(ying)响到实际当中的亲(qin)密关系。“用户(hu)在实际中得没有到如许的情(qing)绪(xu)价(jia)值，致(zhi)使心理落差(cha)会更大，很难发展起来(lai)实际中的亲(qin)密关系”。
杭州电(dian)子科(ke)技大学管理学院(yuan)教授周(zhou)涛做过(guo)一(yi)项天生式AI用户(hu)沉迷成因的实证研究，他发明，天生式AI产(chan)品类人(ren)的拟人(ren)化、交(jiao)互性、智能程度、本性化服务体验这四项因素，会影(ying)响到用户(hu)的沉浸体验（满身心投(tou)入举(ju)措时的全体心理状态），进(jin)而让用户(hu)与特定目标之(zhi)间创建起一(yi)种猛(meng)烈的情(qing)感纽带，形成依恋。情(qing)感依恋能够发展成沉迷。
周(zhou)涛提醒说，天生式AI企业(ye)既能够经过(guo)革新产(chan)品的技能特征，来(lai)培育种植提拔用户(hu)的情(qing)感依恋和提供沉浸体验，但又需要采用措施抑制用户(hu)对天生式AI的沉迷，好比(bi)，在交(jiao)互内容中提醒用户(hu)天生式AI只是(shi)虚拟技能运用，没有能替代实际的事情(qing)和生活；或者(zhe)在产(chan)品中到场防沉迷系统，适时提醒用户(hu)沉迷的危害或强制中断(duan)用户(hu)的过(guo)度使用。
详(xiang)细到未成年人(ren)“防沉迷”领域(yu)，南都记者(zhe)实测发明，国内市(shi)场上诸多主流(liu)的AI陪伴产(chan)品，并没有限制未成年人(ren)使用，有的APP会单独提供青少(shao)年模式。没有过(guo)，也有像“星野”及其外洋版(ban)“Talkie”，采纳青少(shao)年模式和明确设定年事准入门坎两种方式并行的模式。
根据服务协定，“星野”提醒未满18岁的未成年人(ren)没有要使用其服务，并称为避免未成年人(ren)过(guo)度依赖或沉迷天生式AI服务，当系统识别到疑似未成年用户(hu)时，该(gai)用户(hu)需要完成实名认证；而风(feng)靡(mi)外洋的“Talkie”则禁止16岁以下的未成年人(ren)，如果平台发明，将立即阻止该(gai)未成年人(ren)访问并删除他们(men)的账户(hu)。
即使AI陪伴服务提供者(zhe)想设定年事门坎，同样面临和用户(hu)隐私保(bao)护之(zhi)间的张力。朱悦(yue)指出，好比(bi)靠(kao)人(ren)脸识别等本领去验证年事身份，如何完成和个人(ren)数据保(bao)护的规则相谐和，在国外争议较大，推行阻力高，提拔了有效落实年事门坎的难度。
而在青年少(shao)模式上，MiniMax方面向南都记者(zhe)表示，如果开启“星野”和“Talkie”的青少(shao)年模式，用户(hu)无法自行搜索、编纂或分享虚拟角色智能体，平台引荐给青少(shao)年用户(hu)的虚拟角色智能体均经过(guo)系统与野生两重审核把关，包含知识类、科(ke)普类、卡通(tong)趣味等抽象；从模型层(ceng)面上，会规避出现没有得当青少(shao)年相识的网络说话和对话形式。
MiniMax公司还介绍说，当青少(shao)年用户(hu)在“星野”或“Talkie”达到一(yi)定使用时长时，平台会推送防沉迷提醒，提醒用户(hu)注意苏息。
AI陪伴“双刃剑”的另一(yi)面
尽管AI陪伴可能带来(lai)上瘾的隐忧，但心理咨询界也看到了这一(yi)产(chan)品形态“愈人(ren)”的前景。
根据腾讯研究院(yuan)近期一(yi)份关于AI陪伴的呈报，AI心理顾问将是(shi)最(zui)早成熟(shu)的AI陪伴场景之(zhi)一(yi)。61%的用户(hu)对此表现出兴趣，其中19%的用户(hu)将其视为最(zui)感兴趣的产(chan)品。该(gai)呈报预测到2027年，AI心理顾问的市(shi)场规模将达到150-200亿元。
陈亚楠(nan)说，心理咨询需要咨询者(zhe)表露很多个人(ren)隐私，如果是(shi)向一(yi)名人(ren)类的心理医生表达，可能没有太乐意表露太多隐私。但面对AI心理咨询师，用户(hu)大概(gai)会更有倾诉(su)的意愿。此外，AI心理咨询的本钱(qian)低，得当消费能力有限的学生群体。
但陈亚楠(nan)测试发明，市(shi)面上一(yi)些大模型公司旗下的通(tong)用型AI陪伴产(chan)品，还很难达到心理咨询的要求，“最(zui)大的问题是(shi)虚拟角色的依从性很高”——给予(yu)一(yi)种无前提的主动的存(cun)眷，顺着用户(hu)的话往(wang)下说，没有会反抗或指出用户(hu)的问题，更多起到类似于“心灵鸡(ji)汤”的感化，但心理咨询要求明确咨询者(zhe)问题地点，协助(zhu)其办理心理层(ceng)面的问题。
她举(ju)例说，当一(yi)个用户(hu)流(liu)露出想要自杀或类似的动机(ji)，心理咨询师需要立马(ma)做出反应加以干预，而没有能顺从用户(hu)的想法。
“做这种专业(ye)的AI心理咨询，还有很长的路要走(zou)。”陈亚楠(nan)表示，决意一(yi)款AI心理咨询产(chan)品程度高低的，是(shi)训练数据集的质量(liang)，数据集一(yi)样平常来(lai)自人(ren)类心理咨询师和来(lai)访者(zhe)的实在对话案例库。并且，“咨访关系”（咨询师和来(lai)访者(zhe)）是(shi)咨询效果的枢纽，这是(shi)AI的一(yi)大障碍，“AI靠(kao)的是(shi)算法，它很难创建人(ren)与人(ren)之(zhi)间那种信任和和谐的关系”。
南都记者(zhe)注意到，有大模型初创公司开始涉足AI心理咨询领域(yu)。比(bi)方，智谱投(tou)资的北京聆心智能科(ke)技有限公司，推出过(guo)一(yi)款名叫Emohaa的AI帮助(zhu)心理疏导产(chan)品。
没有过(guo)，AI心理咨询又会面临类似于自动驾驶的归责逆境。陈亚楠(nan)说，如果用户(hu)按照AI心理咨询师的建议作出了没有恰当的行为，产(chan)生伤害后果，究竟谁来(lai)为此担责，这又是(shi)一(yi)个悬而未决的难题。
出品：南都数字经济管理研究中心
采写：南都记者(zhe) 杨柳 黄莉玲