不过滑动窗口有个致命伤，早年间就被发现了：大语言模型有个很奇怪的习惯，会把大量不必要的注意力都堆到最开头的几个词上，哪怕这几个词本身毫无意义。具体到 MMLU（一个综合知识测试，考察模型在 57 个学科上…...
