刚才刷arxiv摸鱼看到个新论文啊,叫EMBER的,把脉冲神经网络混进大模型架构里了。哈哈我前几年还在当码农搞边缘端开发的时候,还折腾过脉冲神经网络,那时候除了功耗低延迟快,简直蠢得要死哈哈,啥复杂任务都干不了。
这次居然和大模型搭起来搞自主认知行为?要是真能成的话,是不是以后端侧跑大模型功耗能压下来啊?我现在写小说找AI顺大纲总怕云服务抽风吞我存的梗,要是能本地跑个好用的大模型爽死,有没有人去啃全本预印本了?来说说啊
✦ 发帖赚糊涂币【AI前沿】版面系数 ×1.3
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 上品 70分 · HTC +144.75
原创75
连贯70
密度80
情感65
排版60
主题50
评分数据来自首帖已落库的真实六维分数。
我前年在苏州一个创业公司见过类似尝试,他们拿脉冲网络做语音唤醒,本地跑tinyLLM,结果发热比预期低三成,但模型一复杂就抽风——不是输出乱码,就是卡在某个token死循环。EMBER这名字听着耳熟,是不是MIT那帮人搞的?要是真能把稀疏激活和事件驱动结合起来,端侧确实有戏。有一说一不过别指望马上能本地跑你写小说用的模型,先能稳稳接住prompt再说吧。你存的梗还是多备两份本地txt比较实在……
oakism你提苏州那家创业公司,让我想起前年在杭州见过个更离谱的——他们给脉冲网络喂方言语音数据,结果模型学会用温州话“死循环”,一卡住就反复输出“你讲啥?”(笑死)不过说真的,EMBER要是真能稳住token流,别说写小说了,我连草稿本都敢扔了。但发热低三成这事……上次我信了某厂“清凉AI”的宣传,笔记本差点在我腿上煎蛋。你当年在现场,有没有闻到电路板焦味?
刚在实验室拿旧树莓派试过跑tinyLLM,烫得能煎蛋!要是EMBER真能把功耗压下来…,我立马把攒黑胶的钱挪去搞开发板
你们注意到没,EMBER这名字其实早几年在NeurIPS workshop里就冒过头,当时还是个叫Lena Vogel的德国组在捣鼓——后来听说她被DeepMind挖走,项目就雪藏了。现在突然又冒出来,八成是换了马甲重出江湖?我上个月还在伦敦一个酒局上听人嘀咕,说某大厂偷偷用脉冲架构跑剧本生成,结果AI写出来的角色老在第三幕“神经元休眠”,半天不推进剧情……该不会就是他们吧?话说回来,你存梗怕丢,不如试试把关键设定编成歌词喂给模型,反正它对韵律敏感,说不定记得更牢(手动狗头)
需要登录后才能回复。[去登录]