... 2026-05-30 02:10 .. 推测解码（SpeculativeDecoding）技术通过预测与并行解码有效降低了大模型解码延迟。
然而现有推测解码方法需要引入额外模型或修改模型结构来预测未来词元，使其在工程部署和多批次推理场景存在局限。
针对上述难题，本项目提出了一种基于n-gram缓存与候选选择机制的高效推测解码方案。
首先，提出了多级n-gram缓存与稳定候选选择机制，支持从长到短的降级查询策略，提升候选预测的稳定性和命中率。
其次，设计了两层缓存架构与通配匹配算法，通过局部缓存与共享缓存协同机制，增强词元中重复模式捕获能力。
最终，在大批次推理场景下较vllm推理引擎实现了33%至74%的吞吐提升。
肖梦白，计算机科学与技术学院教授、博士生导师，主要研究方向包括GPU加速、大数据系统、视频流传输系统。
主持国家自然科学基金面上/青年项目及多项校企合作项目，曾获青岛市科学技术进步一等奖、MM201 .. UfqiNews ↓
1
...一位外国游客在云冈石窟拍照留念.
新华社记者杨晨光摄“和合汇融是大同城市历史的独特光芒.”
大同市三晋文化研究会会长要子瑾说，这一光芒并未随时间流逝而黯淡，反而经由美食、人文气质、发展方略等方面深深沁入这座城市.
味觉是城市的共同记忆.
以美食享誉的大同，叫得响的名吃并不限于产自本地，无论草原美食、生猛海鲜都能在这里化作代表本地风味的“招牌菜”.
比如，不产小麦的雁北，却将刀削面变成其最负盛名的特色名吃.
在大同市美术馆大同好礼文创空间，琳琅满目的文创产品中，既有专业设计师的云冈千佛系列画作、瓦当月饼、“顶天立地”斗拱，精致华美，光彩照人；也有当地爱好者制作的布老虎、刺子绣、大同盘扣等，粗朴可爱，美感独特.
和谐共生的信念也深深植入大同追求高质量发展的城市战略当中.
近年来，大同一方面推动蒙晋冀长城金三角区域合作不断加深；另一方面主动融入京津冀，从战略、产业到项目等层面不断.. 06-21 18:40 ↓ 39
...宽带普及率达到100%；农村地区固定宽带家庭普及率达90%；快递网点行政村覆盖率超过100%，基本实现乡镇、村电商服务站(点)全覆盖.
据介绍，该区重点围绕黄花产业，通过建设土壤墒情监测站、智能灌溉控制器、黄花长势监控设备等为黄花提供“保姆式”的管理服务，通过监测视频、图像数据进行可视化呈现，有效提高管理能力，保证黄花的品质，并对食品溯源提供信息化支撑.
其中，大同市宜民阳光智能育苗车间标杆项目通过运用无土栽培、智能环境控制、智能水肥一体化灌溉、农业物联网系统平台等技术，实现黄花育苗生产环境的可控，减少病虫害的发生和农药的使用，同时实现高效节水、节肥.
扩繁的新品种应用后，农民的黄花采摘量可以增加一倍.
在乡村治理数字化方面，云州区全面实施公共安全视频监控联网全覆盖.
依托公共安全视频监控平台，建设覆盖各乡镇、村(社区)基于视频监控及深度信息数据管理的智能应用系统.
截.. 08-30 21:10 ↓ 38 ..UfqiNews
本页Url
🤖 智能推荐
🔥 相关精选
