标签:知识蒸馏

模型压缩 模型也可以上网课?!一文看懂服务型蒸馏训练方案

允中 发自 凹非寺 量子位 编辑 | 公众号 QbitAI 自今年年初,由于疫情的原因,为了减少人员聚集,降低病毒扩散的可能性,各大中小学校都陆续开始了网上教学

知识蒸馏技术原理详解:从软标签到模型压缩的实现机制

知识蒸馏是一种通过性能与模型规模的权衡来实现模型压缩的技术。其核心思想是将较大规模模型(称为教师模型)中的知识迁移到规模较小的模型(称为学生模型)...