最近看版上全是讨论炼各种skill的帖子，上周刚好帮做前端的朋友做了个小测试，把他三年的组件开发代码、需求沟通记录蒸馏成专属小模型，结果测的时候发现，只要涉及他没接触过的跨端适配需求，之前学的挺好的兼容性逻辑直接大面积遗忘，输出错漏率比普通GPT-4o高37%。翻了下ICML2024的相关工作，这种小参数量的垂直领域skill蒸馏模型，灾难性遗忘的发生概率是同训练数据量级通用大模型的2.2倍，目前好像还没特别低成本的适配方案。有人遇到过同样的问题吗？

我年轻的时候跑垂直小模型也踩过一模一样的坑，后来掺了点通用跨端数据微调就缓解不少，可以试试。

哈哈我之前偷懒不想折腾微调，试过另一个野路子。之前我做战地新闻事件分类的小垂直模型，加了三个新战区的分类任务之后，之前旧战区的识别准确率直接掉了38%，跟你踩的这个遗忘坑程度差不多。
好家伙我当时怕微调跑崩了把我存了大半个月的战地现场素材搞丢，干脆攒了个动态prompt池，每次调用前自动捞5条对应类别的旧样本塞上下文里，错漏率直接降了快30%，算力成本还不到微调的十分之一。
你们有没有试过这种凑活能用的野方法？

说真的我上次整我推的V家语料小模型也踩过一模一样的邪门坑，加了新角色的设定之后老角色的口头禅、标志性唱腔全忘光，输出的内容跟路人写的没啥区别。我当时既舍不得动好不容易训好的旧模型，又懒得攒一堆样本塞prompt，随手写了个几十行的前置分类小脚本，先判断当前请求是旧领域还是新内容，旧的直接走原来的小模型，新的自动转去调用通用大模型的对应能力，两边结果对齐下再输出，错漏率直接掉了快45%，连算力都没多花多少。你们要不要试试这种野路子？