模型压缩技术
一、模型蒸馏Knowledge Distillation1. 什么是模型蒸馏模型蒸馏是一种模型轻量化技术/模型压缩技术让大模型BERT教师教小模型BiLSTM学生把大模型教师模型 Teacher学到的知识迁移到小模型学生模型 Student。不只迁移硬标签真实类别还要迁移软标签类别之间的关联概率分布让小模型在保持较小体积的同时尽可能接近大模型的效果、具备大模型的推理能力。2. 软标签 vs 硬标签硬标签Hard Label真实one-hot 标签只有目标类别为 1其余全为 0只学到类别边界学不到类别间的相似性。硬标签损失计算通过 学生硬输出与真实标签的交叉熵学生学习教师的最终答案。软标签Soft Label教师模型输出经过温度 T 平滑后的概率分布包含类别间关系信息。软标签损失计算通过 学生软分布与教师软分布的KL散度学生学习教师的概率分布。总结KL散度计算软标签损失学生软分布与教师软分布的 KL 散度、交叉熵损失计算硬标签损失学生硬输出与真实标签的交叉熵、MSE计算中间隐藏层损失学生隐藏层,与教师隐藏层的MSE3. 温度T的作用用高温T将硬输出平滑为软标签压低最高类别概率抬高非目标类别的概率释放类别间的暗知识。推理阶段把 T 重置为 1。4. 总损失1. 公式经验取值α0.7∼0.92. 描述先用高温 T 把教师输出平滑为软标签用 KL 散度让学生拟合这个软分布再叠加原始数据集的分类交叉熵同时学习类别关联知识与真实任务标签。3. 损失函数由两部分加权组成① 蒸馏损失学生软分布与教师软分布的 KL 散度T1学习暗知识。② 真实标签损失学生硬输出与真实标签的交叉熵T1保证拟合真实数据。5. 整体流程​

相关新闻

CST实战解析(一):PCB板单线辐射仿真与能量流验证

CST实战解析(一):PCB板单线辐射仿真与能量流验证

1. 从零开始理解PCB单线辐射仿真 刚接触电磁兼容设计时,我总被各种专业术语搞得晕头转向。直到有一次,客户拿着一个简单的PCB板找上门来,说产品总是过不了辐射测试。拆开一看,问题就出在一根看似普通的信号线上。这次经历让我明白…

2026/6/29 11:49:12阅读更多 →
Electron 应用如何上架微软商店:从 MSIX 打包到商店提交

Electron 应用如何上架微软商店:从 MSIX 打包到商店提交

手里有这么一个 Electron 应用,要在 Windows 上分发给最终用户。除了一直以来都在用的 NSIS 安装包、便携版之外,我们还盼着它能出现在微软商店里。说起来原因其实挺现实的: 可信分发渠道:商店里的应用都是签过名、审过的&#x…

2026/6/29 11:49:12阅读更多 →
从MPU6050数据到稳定姿态:卡尔曼滤波融合实战解析

从MPU6050数据到稳定姿态:卡尔曼滤波融合实战解析

1. MPU6050与姿态测量的基础原理 MPU6050是一款集成了三轴加速度计和三轴陀螺仪的六轴运动处理传感器,在无人机、平衡车、手机等设备中广泛应用。它的核心功能是测量物体在三维空间中的线性加速度和角速度,但直接使用这些原始数据会面临两个主要问题&…

2026/6/29 11:49:12阅读更多 →
喜利普厨房空调哪家靠谱

喜利普厨房空调哪家靠谱

在餐饮业中,厨房环境的舒适度直接影响到厨师的工作效率和菜品质量。然而,传统家用空调在高油烟、高温的商用厨房环境中往往表现不佳,导致频繁故障和高额维修费用。针对这一痛点,喜利普商用厨房新风空调以其卓越的产品性能和完善的…

2026/6/29 12:59:29阅读更多 →
Unity Mod Manager深度解析:5大核心技术揭秘与实战应用指南

Unity Mod Manager深度解析:5大核心技术揭秘与实战应用指南

Unity Mod Manager深度解析:5大核心技术揭秘与实战应用指南 【免费下载链接】unity-mod-manager UnityModManager 项目地址: https://gitcode.com/gh_mirrors/un/unity-mod-manager Unity Mod Manager(简称UMM)是一款专为Unity引擎游戏…

2026/6/29 12:59:29阅读更多 →
Awoo Installer:Switch游戏安装终极指南 - 让破解游戏安装变得简单快速

Awoo Installer:Switch游戏安装终极指南 - 让破解游戏安装变得简单快速

Awoo Installer:Switch游戏安装终极指南 - 让破解游戏安装变得简单快速 【免费下载链接】Awoo-Installer A No-Bullshit NSP, NSZ, XCI, and XCZ Installer for Nintendo Switch 项目地址: https://gitcode.com/gh_mirrors/aw/Awoo-Installer 还在为Switch游…

2026/6/29 12:59:29阅读更多 →
高速ADC AFE5851实战:LVDS接口、时钟与PCB布局设计要点

高速ADC AFE5851实战:LVDS接口、时钟与PCB布局设计要点

1. 项目概述与核心挑战在医疗超声、相控阵雷达接收机或者高端通信测试设备这类对信号保真度要求极高的领域,高速、多通道的模数转换器(ADC)是整个信号链的“咽喉要道”。我最近在做一个八通道的超声前端接收板,核心就是德州仪器&a…

2026/6/29 12:59:29阅读更多 →
3步掌握Legacy iOS Kit:让老旧iPhone/iPad重获新生的完整方案

3步掌握Legacy iOS Kit:让老旧iPhone/iPad重获新生的完整方案

3步掌握Legacy iOS Kit:让老旧iPhone/iPad重获新生的完整方案 【免费下载链接】Legacy-iOS-Kit An all-in-one tool to restore/downgrade, save SHSH blobs, jailbreak legacy iOS devices, and more 项目地址: https://gitcode.com/gh_mirrors/le/Legacy-iOS-Ki…

2026/6/29 12:59:29阅读更多 →
TI评估模块使用指南:从研发边界到安全合规的工程师必修课

TI评估模块使用指南:从研发边界到安全合规的工程师必修课

1. 评估模块:工程师的“探路石”与“安全手册”在半导体行业摸爬滚打了十几年,经手过的评估板(EVM)、开发套件不计其数。它们就像芯片厂商递到你手里的“探路石”和“半成品乐高”,让你能在投入大量资源进行正式产品设…

2026/6/29 12:54:25阅读更多 →
AI Coding 六个月真实ROI账本:产品经理的血泪教训,研发的冷静忠告

AI Coding 六个月真实ROI账本:产品经理的血泪教训,研发的冷静忠告

6个月前的2025年12月,Boris Cherny 公开宣布自己卸载了 IDE。一时间,Vibe Coding 成了全行业最热的话题。6个月后,当我们回过头来拉一份真实账本,发现事情远没有"一句话生成一个App"那么浪漫。本文从产品经理和研发两个…

2026/6/29 3:27:55阅读更多 →
审计来了,数据权限全开——审计走了,怎么确保权限全部关掉?

审计来了,数据权限全开——审计走了,怎么确保权限全部关掉?

引言:审计结束三个月了,审计员的权限还没关某城商行每年按照监管要求开展至少一次数据安全审计。审计期间,内审部门需要抽样检查各类业务数据——交易流水、客户信息、员工操作日志、权限配置记录。这些数据分布在不同系统中,审计…

2026/6/29 2:19:08阅读更多 →
如何在3秒内从普通图片生成专业级法线贴图:DeepBump的终极指南

如何在3秒内从普通图片生成专业级法线贴图:DeepBump的终极指南

如何在3秒内从普通图片生成专业级法线贴图:DeepBump的终极指南 【免费下载链接】DeepBump Normal & height maps generation from single pictures 项目地址: https://gitcode.com/gh_mirrors/de/DeepBump 还在为3D建模中的纹理制作而烦恼吗?…

2026/6/29 0:01:47阅读更多 →
OCAuxiliaryTools:终极OpenCore配置工具,让黑苹果安装从未如此简单!

OCAuxiliaryTools:终极OpenCore配置工具,让黑苹果安装从未如此简单!

OCAuxiliaryTools:终极OpenCore配置工具,让黑苹果安装从未如此简单! 【免费下载链接】OCAuxiliaryTools Cross-platform GUI management tools for OpenCore(OCAT) 项目地址: https://gitcode.com/gh_mirrors/oc/OCA…

2026/6/29 0:01:47阅读更多 →
终极Windows 11精简指南:使用tiny11builder快速创建纯净系统镜像

终极Windows 11精简指南:使用tiny11builder快速创建纯净系统镜像

终极Windows 11精简指南:使用tiny11builder快速创建纯净系统镜像 【免费下载链接】tiny11builder Scripts to build a trimmed-down Windows 11 image. 项目地址: https://gitcode.com/GitHub_Trending/ti/tiny11builder 你是否厌倦了Windows 11系统自带的20…

2026/6/29 0:01:47阅读更多 →