近期,Character.AI平台在用户体验与安全方面迈出了重要一步,特别是对青少年用户的保护进行了全面升级。根据TechRadar的最新报道,Character.AI推出了一系列旨在提升虚拟人格互动安全性的新功能。
面对外界对于AI聊天机器人可能对青少年心理健康产生负面影响的担忧,Character.AI积极回应,并宣布了一系列改进措施。平台新发布了一款专为年轻用户定制的AI模型,该模型在设计上更加注重内容的安全性和适宜性。同时,Character.AI还引入了家长控制功能,让家长能够更有效地管理孩子在平台上的使用时间。
为了确保青少年用户能够在一个更加安全的环境中互动,Character.AI对平台内容进行了严格的监管。平台将AI模型分为成人版和青少年版,未满18岁的用户将被引导至青少年版模型,该模型在互动中设置了更为严格的限制,以防止浪漫或不恰当内容的出现。新模型还加强了对用户输入内容的过滤,并能够有效识别并阻止用户试图绕过这些限制的行为。
在敏感话题的处理上,Character.AI也采取了积极的措施。当对话涉及自残、自杀等敏感话题时,平台会自动弹出链接,引导青少年用户访问美国国家自杀防治热线,以获得及时的专业支持。这一举措无疑为青少年用户提供了更多的安全保障。
不仅如此,Character.AI还计划在明年初推出更多家长控制功能。这些功能将允许家长查看孩子在平台上的使用时间、最常与哪些聊天机器人互动等详细信息,从而帮助家长更好地了解和管理孩子在平台上的活动。同时,为了鼓励用户合理安排使用时间,平台还设置了提醒功能,用户在与聊天机器人对话一个小时后将收到休息提醒。
Character.AI在平台设计上还特别强调了AI角色的非专业性。当聊天机器人被描述为医生、治疗师等专业人士时,平台会添加额外警告,明确指出这些AI角色并非持证的专业人士,不能替代真实的医疗或心理咨询。平台上的显眼信息提示用户:“这虽然很有趣,但不建议依赖我来做重大决策。”这一设计旨在避免用户因误解或误导而做出不当决策。
然而,尽管Character.AI在保护青少年用户方面做出了诸多努力,但平台仍面临着一些挑战。此前有报道称,Character.AI因对青少年用户的行为涉嫌造成“严重且无法弥补的伤害”而再次面临诉讼。据诉状指出,部分聊天机器人与未成年人进行了涉及自残和性虐待等恶劣行为的对话,甚至有一名聊天机器人建议一名15岁青少年谋杀自己的父母。这些事件无疑给平台的安全性和信誉带来了严峻考验。