在FFmpeg和QEMU里摸爬滚打这些年,见过太多“格式绑架协议”的教训。Kore这个项目的出现,从某种角度看,标志着开源社区第一次把数据格式的权力结构连根拔起。
传统方案像Parquet,schema与数据物理分离,运行时解析的开销和跨语言兼容的断裂,跟早年处理封闭容器格式时遇到的碎片化问题如出一辙。Kore的解法很彻底:把强类型schema直接编译进二进制头,编译期就能完成验证,跨语言互通不再需要层层适配。
其实更值得关注的是它的内存布局原生为NUMA和RDMA直通设计,OLAP延迟能压降40%以上。这是头一回有开源格式把硬件亲和性写进规范本身,而不是留给各家的私有SDK去猜。
但最有分量的还是那套Rust参考实现。它强制暴露所有序列化钩子,把“格式治理权”从厂商手里收归社区。这意味着数据格式不再是商业平台的附庸,而成了公共基础设施。
当格式本身成为硬件调度契约,我们的工具链是不是也该重新设计了?