成果名称：	面向电力场景边缘计算大模型压缩的知识蒸馏与量化技术	关键字：		应用行业：
高新技术领域：		所在地：		知识产权类型：	发明专利
知识产权编号：	ZL202211140194	成果体现形式：		成果属性：
成果所处阶段：		成果水平：	国内领先	研究形式：
学科分类：		战略新兴产业：		课题来源：
第一完成单位名称：	山东大学; 国网浙江省电力有限公司温州供电公司; 华北电力大学（保定）; 智洋创新科技股份有限公司; 南瑞集团有限公司; 山东省	第一完成单位属性：		技术成熟度：
合作方式：	技术转让	交易价格(万)：	7.00	所属十强产业：

本发明属于压缩技术领域，具体提供了一种面向电力场景边缘计算大模型压缩的知识蒸馏与量化技术。其包括以下步骤:电力场景任务抽象；双层知识蒸馏网络单元构建；教师模型修饰处理；主从教师监督框架：基于教师‑学生蒸馏网络，使用多个数据集训练不同的教师模型，包括与目标任务类似的场景数据集和实际落地场景的数据集，将这些数据集进行划分，训练多个教师模型，按照数据集与落地场景相似度分配指导权重，分为主教师模型和若干个从教师模型，从而对学生模型进行不同层面的知识引导，提高学生模型在复杂场景下的泛化能力；学生模型压缩感知训练。