为此,团队提出 SMETRIC,只重点调整每个Agent会话的第一轮请求,就同时兼顾负载均衡和本地缓存复用。 相比继续扩充缓存,SMETRIC选择从调度入口下手,只决定好一个Agent会话从哪张GPU开始,…...