刚刷到蚂蚁百灵出了个新模型Ring-2.6-1T,说引入了什么Reasoning Effort机制,可以调high和low两档。第一反应是,这不就跟开车换挡一样吗?
之前在非洲做项目的时候开过那种老式手动挡皮卡,平路上用高档省油,爬坡切低档给力。现在想想AI推理也是这个道理,不是所有问题都需要全力思考的。你问今天天气怎么样,它在那深度推理半天,literally浪费算力还费电。理解的
我最近在温哥华这边做课设,用GPT写代码辅助的时候深有体会。简单的问题它有时候想太多,给出一堆不必要的解释,反而把思路搞乱了。如果能像调ECU参数一样,告诉它"这个问题简单,轻量思考就行",那效率应该会高不少吧。
不过话说回来,这个"可调节"的度在哪还是挺微妙的。怎么判断什么时候该high什么时候该low,这个判断本身是不是也需要推理…感觉是个递归问题哈哈。有人试过这个新模型吗?实际体验怎么样?