当前位置 >>  首页 >> 综合信息 >> 综合新闻

综合新闻

微电子所在面向物联网应用的高效联邦学习方向取得重要进展

稿件来源:EDA中心 郭叶 发布时间:2022-11-02

  工业物联网,包括半导体制造的晶圆制造EDA工具的研发会涉及大量工艺和设备参数,如何在保证企业敏感参数前提下,有效利用机器学习进行精确工艺仿真是目前的核心技术难点。联邦学习允许多个参与方在不披露原始训练样本的情况下,分布式、协同式地训练深度学习模型,可为隐私敏感、注重IP保护的智能物联网应用提供算法保障。但在传统的联邦学习框架中,客户端需执行包括前向和反向传播在内的多轮次密集计算,很可能超出典型物联网终端在计算性能、能量和存储容量方面所允许的上限。服务器和客户端之间的频繁通信也容易成为制约系统性能的瓶颈。行业亟需一种更高效的联邦学习框架,使这一隐私保护方案在物联网(IoT)系统中的部署成为可能。 

  近日,微电子所陈岚研究员团队提出了一种面向物联网应用的计算、通信高效的联邦学习框架“FedQNN”1),首次将超低位宽量化技术集成到联邦学习中,允许客户端以轻量化的定点格式执行绝大部分计算负载,极大地降低了计算功耗(2a)。在通信方面,本框架利用稀疏和量化策略对上行和下行数据进行压缩。在对多个数据集和模型的实验结果表明,本框架能在不明显影响模型精度的前提下,降低90% 的终端计算能耗、将模型尺寸压缩30倍以上,极大地减小了通信带宽需求和传输数据量(2b),显著降低了联邦学习的部署成本,提高了其在IoT系统中的实用性,为解决智能晶圆制造EDA工具领域的数据隐私保护问题提供了新方法。 

      上述研究成果以“FedQNN: a Computation-Communication Efficient Federated Learning Framework for IoT with Low-bitwidth Neural Network Quantization”为题发表在物联网领域国际顶级期刊《IEEE Internet of Things Journal》上 (DOI: 10.1109/JIOT.2022.3213650)。EDA中心博士生纪愚为文章第一作者,陈岚研究员为通讯作者。 

 

图1. FedQNN算法的系统框架


图2. 不同数据集下的学习曲线图

附件: