新闻
DeepSeek V4 Pro翻车之谜 居然被字节扒出来
1 分钟阅读
DeepSeek又上新模型了? 是的,前两天服务器崩溃刚刚送完钱,转手就掏出了V4.1 FLash的1017新版本。 这下实锤了,什么崩溃,明明是上新前想给大伙儿送点福利罢了(bushi。。。 不过话说回来,这次的Flash我们还在测,今天世超想聊聊的,是为什么更新的又是Flash模型,V4Pro又到哪里去了。 毕竟那可是差点把梁圣干成牢梁,还下架又上架,秽土转生了一波的神奇模型啊。 就没人解释解释,V4 Pro到底哪儿出毛病了? 诶,有的兄弟有的,这不, 隔壁字节的 Seed 团队就挖出来了一些线索,说是模型的上下文压缩出问题了。。。 扒拉完这篇 Seed 的论文,世超觉得,这车翻得不冤,但大蓝鲸它也真没毛病嗷。 具体来说,V4 Pro 这回不是单纯的记性变差了,而是患上了某种有规律的选择性失忆。 论文里,研究人员拿 DeepSeek 自己的推理代码做了个实验,让 V4 Flash 补全一段代码。 结果发现,只要往前面的注释里加几个无关紧要的等号,上下文变长点,模型就会在正确和错误答案中间反复横跳。 而且这玩意儿还不是随机的,每隔 4 个 Token,就会重复一轮。 按论文里的专业说法,这叫相位敏感性。 翻译成大白话就是 V4 Pro 这条大鲸鱼非常挑食,你给它的上下文,它会挑着吃。 如果大伙儿经常用 AI,应该能感受到,模型的注意力一般集中在头和尾,中间信息经常丢失。 这回的发现则更加细致, 不只是提示词整体,每个小部分里面,同样的信息,你给它调调位置,人模型可能就不乐意看了。 好家伙,谁给我小鲸鱼整这么矫情了? 研究者们继续挖,发现原来跟 V4 Pro 的压缩策略有莫大关