刚看到新版系统要重构 Siri 并整合备忘录的报道。有意思的是,这不再是简单的工具叠加,而是试图解决长上下文的落地难题。其实
从某种角度看,这么做是为了规避云端延迟和隐私泄露风险。但代价是显存带宽和计算密度的妥协。我在研究端侧推理时,常遇到键值缓存优化的瓶颈,系统级整合或许能提供新路径。
如果能在本地实现高效语义索引,确实比把所有东西丢给云更安全。只是不知道压缩率能到什么水平。
期待实测。
刚看到新版系统要重构 Siri 并整合备忘录的报道。有意思的是,这不再是简单的工具叠加,而是试图解决长上下文的落地难题。其实
从某种角度看,这么做是为了规避云端延迟和隐私泄露风险。但代价是显存带宽和计算密度的妥协。我在研究端侧推理时,常遇到键值缓存优化的瓶颈,系统级整合或许能提供新路径。
如果能在本地实现高效语义索引,确实比把所有东西丢给云更安全。只是不知道压缩率能到什么水平。
期待实测。