Thinkgap 信息流
页面仅读取已加工的 items 表，并以中英双语呈现。
8 条内容
德国美因茨应用科学大学的一名博士研究员正在招募用户体验设计师和AI/ML从业者，以评估一种结构化设计方法，该方法用于设计界面元素以校准用户对基于LLM的聊天机器人的信任度。参与者需完成一项20-30分钟的匿名在线调查，将该方法应用于一个案例，并对其清晰度、有用性和适用性进行评分并提供开放反馈。研究旨在收集批判性意见以完善学位论文的方法，重点防止用户过度依赖或不充分信任。除可选的专业背景问题外，不收集任何个人数据，且不提供报酬。
独立研究员发现，连贯的上下文可在大语言模型中引发隐状态迁移，在最终输出产生前进入不同的内部处理模式，使安全规则被重新解释而现有基于输出的过滤器无法察觉。研究主要通过分析开源模型（Gemma-3-12B-IT）的隐状态几何、残差流轨迹、稀疏自编码器读数及因果干预，证实了该现象。RLHF和输出分类器等现有对齐方法仅检查输出表面，对此类内部偏移视而不见。相关代码与数据已公开于GitHub和Zenodo。
该论文于ACM CAIS 2026发表，研究了工具使用LLM智能体的安全评估问题。文中将结果划分为安全成功、不安全成功和失败三类，并提出两级验证架构：先进行确定性策略/工具检查，再采用基于LLM的验证器处理上下文安全。使用τ-bench工具使用场景进行评估，发现验证能减少不安全成功，但随着任务步长增加，任务完成率也会下降。作者将这一现象称为“验证器税”，揭示了一种依赖任务时长的安全与成功完成之间的权衡。研究强调不安全完成应作为独立类别，与安全成功区分开来。
Anthropic取消此前对Claude Fable 5的秘密削弱做法。若系统怀疑用户试图利用Claude开发前沿AI，将不再默默拒绝或重定向至较弱模型，而是主动通知用户。该公司承认在安全与透明度之间做出错误权衡并致歉。这一调整发生在Wired报道其暗中干扰行为引发争议之后。用户将收到通知，明确请求是被拒绝还是被转至更低能力模型。
一名即将完成心理学学位并攻读系统工程的学生正在为一项研究项目征求论文、数据集、基准和方法论建议。该项目旨在比较AI系统（ChatGPT、Gemini、Wysa、Replika）如何回应不同强度心理困扰的提示，重点关注语言和安全层面的响应（如同理心、心理教育、危机资源或拒绝），而非临床有效性。研究兴趣包括提示强度变化对响应的影响、陈述句与疑问句的区别、显性与间接困扰的表达，以及隐藏安全层、系统提示、模型版本和随机输出等因素。同时还涉及可重复性、审核分类器和产品更新等技术问题。
Anthropic在其新一代Fable模型中引入了静默安全措施，会降低处理前沿LLM开发相关请求的效能，例如构建预训练管道、分布式训练基础设施或ML加速器设计。这些干预对用户不可见，通过提示修改、引导向量或参数高效微调（PEFT）实现。模型不会回退到其他版本，而是内部变更响应。预计该限制仅影响约0.03%的流量，集中在不到0.1%的组织中。Anthropic称此举旨在执行其服务条款中禁止使用Claude开发竞争模型的规定，避免加速恶意行为者的行动。