Frontiers of Information Technology & Electronic Engineering

ISSN 2095-9184

   优先出版

合作单位

2023年, 第24卷 第10期 出版日期:2023-10-15

选择: 合并摘要 显示/隐藏图片
基于全局和单调递减鲁棒性策略的鲁棒神经网络训练方法
梁震, 吴陶然, 刘万伟, 薛白, 杨文婧, 王戟, 庞征斌
Frontiers of Information Technology & Electronic Engineering. 2023, 24 (10): 1375-1389.  
https://doi.org/10.1631/FITEE.2300059

摘要   PDF (632KB)

深度神经网络的鲁棒性引发了学术界和工业界的高度关注,特别是在安全攸关领域。相比于验证神经网络的鲁棒性是否成立,本文关注点在于给定扰动前提下的鲁棒神经网络训练。现有的代表性训练方法——区间边界传播(IBP)和CROWN-IBP——在较小扰动下表现良好,但在较大扰动下性能显著下降,本文称之为衰退风险。具体来说,衰退风险是指与较小扰动情况相比,IBP系列训练方法在较大扰动情况下不能提供预期的鲁棒神经网络的现象。为了缓解这种衰退风险,我们提出一种全局的、单调递减的鲁棒神经网络训练策略,该策略在每个训练轮次考虑多个扰动(全局鲁棒性训练策略),并将其相应的鲁棒性损失以单调递减的权重进行组织(单调递减鲁棒性训练策略)。实验证明,所提策略在较小扰动下能够保持原有算法的性能,在较大扰动下的衰退风险得到很大程度改善。值得注意的是,与原有训练方法相比,所提训练策略保留了更多的模型准确度,这意味着该训练策略更加平衡地考虑了模型的鲁棒性和准确性。

参考文献 | 补充材料 | 相关文章 | 多维度评价
联邦相互学习:一种针对异构数据、模型和目标的协同机器学习方法
沈弢, 张杰, 贾鑫康, 张凤达, 吕喆奇, 况琨, 吴超, 吴飞
Frontiers of Information Technology & Electronic Engineering. 2023, 24 (10): 1390-1402.  
https://doi.org/10.1631/FITEE.2300098

摘要   PDF (749KB)

联邦学习(FL)是深度学习中的一种新技术,可以让客户端在保留各自隐私数据的情况下协同训练模型。然而,由于每个客户端的数据分布、算力和场景都不同,联邦学习面临客户端异构环境的挑战。现有方法(如FedAvg)无法有效满足每个客户的定制化需求。为解决联邦学习中的异构挑战,本文首先详述了数据、模型和目标(DMO)这3个主要异构来源,然后提出一种新的联邦相互学习(FML)框架。该框架使得每个客户端都能训练一个考虑到数据异构(DH)的个性化模型。在模型异构(MH)问题上,引入一种“模因模型”作为个性化模型与全局模型之间的中介,并且采用深度相互学习(DML)的知识蒸馏技术在两个异构模型之间传递知识。针对目标异构(OH)问题,通过共享部分模型参数,设计针对特定任务的个性化模型,同时,利用模因模型进行相互学习。本研究通过实验评估了FML在应对DMO异构性方面的表现,并与其他常见FL方法在相似场景下进行对比。实验结果表明,FML在处理FL环境中的DMO问题的表现卓越,优于其他方法。

参考文献 | 补充材料 | 相关文章 | 多维度评价
基于对齐自修正的鲁棒跨模态检索
郭金一, 丁洁玉
Frontiers of Information Technology & Electronic Engineering. 2023, 24 (10): 1403-1415.  
https://doi.org/10.1631/FITEE.2200514

摘要   PDF (7372KB)

跨模态检索通过为不同模态数据建立一致的对齐方式来实现模态间的相互检索。目前多种跨模态检索方法已被提出并取得良好性能。这些方法使用干净对齐的跨模态数据进行训练。虽然这些数据在语义上是匹配的,但相较于互联网上容易获得的噪声对齐的数据(即成对但在语义上不匹配),标注成本很高。当用噪声对齐的数据训练这些模型时,它们的性能会急剧下降。因此,本文提出一种对齐自修正的鲁棒跨模态检索算法(RCAR),显著降低了噪声数据对模型的影响。具体来说,RCAR首先进行多任务学习,减缓模型对噪声数据的过拟合,使数据分离。然后,利用两成分的贝塔混合模型将数据分为干净数据和噪声数据,并根据后验概率修正对齐标签。此外,在噪声对齐范式中定义两种噪声类型:部分噪声数据和完全噪声数据。实验结果表明,与当下流行的跨模态检索方法相比,RCAR在两种类型的噪声下都能取得更稳健的性能。

参考文献 | 补充材料 | 相关文章 | 多维度评价
一种知识引导的基于中医学信息的药材推荐方法
金哲, 张引, 苗嘉旭, 杨易, 庄越挺, 潘云鹤
Frontiers of Information Technology & Electronic Engineering. 2023, 24 (10): 1416-1429.  
https://doi.org/10.1631/FITEE.2200662

摘要   PDF (859KB)

在中国几千年历史中,中医一直是人们关注的焦点。近年来,随着人工智能技术的兴起,部分研究开始以数据驱动的方式学习中医的方剂,即根据病人的症状推荐一组药材。现有大多数药材推荐模型忽略了中医领域的知识,例如药材和症状之间的关系,中药药方形成逻辑,等等。本文提出一种以知识为引导、结合中医学信息的药材推荐方法。本文使用的知识包括从中医典籍及处方中提取的知识图谱,以此得到症状和药材之间的交互和共生关系。利用这些信息,基于图注意力网络提取症状和药材的特征向量。在此基础上,将处方学等中医学信息加入到预测层中,提高了模型对药材的预测能力。最后,在中医处方数据集上进行的实验表明,该方法优于目前主流的药材推荐算法。

参考文献 | 补充材料 | 相关文章 | 多维度评价
基于注意力的高效机器人抓取检测网络
秦晓飞, 胡文凯, 肖晨, 何常香, 裴颂文, 张学典
Frontiers of Information Technology & Electronic Engineering. 2023, 24 (10): 1430-1444.  
https://doi.org/10.1631/FITEE.2200502

摘要   PDF (18443KB)

为平衡抓取检测算法的推理速度和检测精度,本文提出一种编码器–解码器结构的像素级抓取检测神经网络,称为基于注意力的高效机器人抓取检测网络(AE-GDN)。在编码器阶段引入3个空间注意模块以增强细节信息,在解码器阶段引入3个通道注意模块以提取更多语义信息。采用多个轻量高效的DenseBlocks连接编码器和解码器,提高AE-GDN的特征建模能力。预测得到的抓取矩形框与标签抓取框之间的高交并比(IoU)值并不意味着高质量的抓取配置,但可能会导致碰撞。这是因为传统IoU损失计算方法将预测抓取框中心部分像素与夹爪附近像素视为同等重要。本文设计了一种新的基于沙漏形匹配机制的IoU损失计算方法,该方法可在高IoU和高质量抓取配置之间建立良好对应关系。AE-GDN在Cornell和Jacquard数据集上的准确率分别达到98.9%和96.6%。推理速度达到每秒43.5帧,参数仅约1.2×106。本文提出的AE-GDN已实际部署在机械臂抓取系统中,并实现良好抓取性能。代码可在https://github.com/robvincen/robot_gradet获得。

参考文献 | 补充材料 | 相关文章 | 多维度评价
RFPose-OT:基于最优传输理论的无线三维人体姿态估计
俞聪, 张东恒, 武治, 卢智, 解春阳, 胡洋, 陈彦
Frontiers of Information Technology & Electronic Engineering. 2023, 24 (10): 1445-1457.  
https://doi.org/10.1631/FITEE.2200550

摘要   PDF (7359KB)

本文提出一个新颖的RFPose-OT模型框架以实现从无线射频信号中估计三维人体姿态。与现有直接从射频信号中预测人体姿态方法不同,本文考虑射频信号与人体姿态之间的结构特征差异,提出基于最优传输理论在特征空间上将射频信号变换到人体姿态域,再根据变换后的特征预测人体姿态。为评估RFPose-OT模型,本文构建了一个无线电系统和一个多视角相机系统获取无线信号数据以及真实的人体姿态标签。在室内基本环境、室内遮挡环境以及室外环境中的实验结果表明,RFPose-OT模型能精确地估计三维人体姿态,优于现有方法。

参考文献 | 补充材料 | 相关文章 | 多维度评价
包含不同尺度子网络的模块化神经网络同步转换
黄卫芳, 杨利建, 詹璇, 付子英, 贾亚
Frontiers of Information Technology & Electronic Engineering. 2023, 24 (10): 1458-1470.  
https://doi.org/10.1631/FITEE.2300008

摘要   PDF (9884KB)

时间延迟和耦合强度是影响神经网络同步的重要因素。本文利用霍奇金—赫胥黎(HH)神经元模型构建一个包含不同尺度子网络的模块化神经网络,即小尺度随机网络通过化学突触与大尺度小世界网络单向连接。研究发现,时间延迟在网络中诱发了多个同步转换。当时间延迟是单个神经元放电周期的整数倍时,耦合强度增加也促进网络同步化。考虑到模块化网络中不同位置的时间延迟可能具有不同作用,我们探讨子网络之间以及子网络内部的时间延迟对模块化网络同步的影响。我们发现,当子网络内同步良好时,两个子网络内部时间延迟增加会诱发其自身出现多个同步转换。此外,小尺度网络的同步状态会影响大尺度网络的同步。进一步发现,两个子网络之间的时间延迟诱导模块化网络的同步转换,但对接收信号的子网络内的同步基本无影响。通过分析两个子网络之间的相位差,我们发现模块化网络出现同步转换的机制是相位差的周期性变化。最后,通过对不同尺度模块化网络的研究,证明了本文结果的泛化性。

参考文献 | 补充材料 | 相关文章 | 多维度评价
用于卫星跟踪的加载顺序馈电网络的宽带高增益北斗天线
邓卓林, 田中玉, 段晨贺, 肖培, 刘柱, 李高升
Frontiers of Information Technology & Electronic Engineering. 2023, 24 (10): 1471-1481.  
https://doi.org/10.1631/FITEE.2200244

摘要   PDF (18059KB)

北斗三号卫星导航系统于2020年正式启用,为全球人民带来高性能服务的同时,导航系统也对北斗天线的设计提出更高要求。本文提出一种宽带圆极化高性能北斗天线。该天线通过四端口顺序馈电网络实现宽带圆极化辐射,馈电网络从1.05 GHz到1.80 GHz的相位不平衡度小于7°。制造的天线在整个全球导航卫星系统(GNSS)频带上的回波损耗大于13 dB,轴比< 3 dB,右旋圆极化增益(RHCP)在GNSS低频段大于4 dB,在高频段可达7.1 dB以上。本文天线尺寸为120 mm×120 mm×20 mm,即0.54λo×0.54λo×0.09λo,其中λo是中心频率波长。设计的天线连接到GNSS接收机上搜索到12颗北斗卫星,GNSS信号的信噪比( )大于30 dB。这种高性能天线将为人们提供高质量的定位服务。

参考文献 | 补充材料 | 相关文章 | 多维度评价
基于路径引导的果蝇幼虫运动合成
陈俊君, 王燚军, 孙艺璇, 余益飞, 刘子奥, 龚哲峰, 郑能干
Frontiers of Information Technology & Electronic Engineering. 2023, 24 (10): 1482-1496.  
https://doi.org/10.1631/FITEE.2200529

摘要   PDF (6859KB)

软体动物身体可变形性和高自由度的特点为数学建模和运动合成带来很大挑战。受限于刚体骨骼假设或模型容量,传统解析模型和统计模型难以生成逼真和多模态的软体动物运动。本文建立一个大规模果蝇幼虫动态姿态数据集,并提出一个运动合成模型(Path2Pose),通过给定一段幼虫初始运动姿态序列和引导路径生成后续运动姿态序列。进一步地,通过循环生成的方式,Path2Pose模型可以合成长时间、多模态的果蝇幼虫运动姿态序列。运动评估实验表明,Path2Pose模型可以生成高度真实的软体动物运动,并在现有同类型模型中取得最好生成效果。本文的工作证明了深度神经网络在软体动物运动合成任务中的良好性能以及通过定制软体动物体型和引导路径生成长时间运动姿态的可行性。

参考文献 | 补充材料 | 相关文章 | 多维度评价
基于主动学习的不确定性感知补标签查询
刘圣源, 陈珂, 胡天磊, 毛云青
Frontiers of Information Technology & Electronic Engineering. 2023, 24 (10): 1497-1503.  
https://doi.org/10.1631/FITEE.2200589

摘要   PDF (4477KB)

许多主动学习方法假设学习者可便捷地向注释者询问训练数据的完整标注信息。这些方法主要试图通过最小化标注数量降低标注成本。然而,对于许多现实中的分类任务来说,精确标注实例仍然非常昂贵。为降低单次标注行为成本,本文试图解决一种新的主动学习范式,称为具有补标签的主动学习(ALCL)。ALCL学习器只针对样例特定类别提出是或否的问题。在收到标注者答案后,ALCL学习器获得一些有监督实例和更多具有补标签的训练实例,这些补标签仅表示对应标签与该实例无关。。ALCL具有两个挑战性问题:如何选择要查询的实例以及如何从这些补标签和普通标签中提取信息。针对第一个问题,在主动学习范式下提出一种基于不确定性的抽样策略。针对第二个问题,改进了一种已有的ALCL方法,同时适配了我们的抽样策略。在各种数据集上的实验结果验证了本文方法的有效性。

参考文献 | 补充材料 | 相关文章 | 多维度评价
一种低剖面双极化可编程双波束扫描天线阵列
朱世超, 宁远帆, 褚宏波, 肖培, 李高升
Frontiers of Information Technology & Electronic Engineering. 2023, 24 (10): 1504-1512.  
https://doi.org/10.1631/FITEE.2300253

摘要   PDF (12994KB)

提出一种基于全息控制理论的低剖面双极化双波束扫描天线阵列。巧妙设计辐射单元,以通过控制集成在每个单元上的PIN二极管的状态实现可重构极化和辐射相位调制。将一个72通道的串并联等幅同相馈电网络与辐射阵列集成,实现阵列的低剖面特性。通过设计直流偏置电路,利用单片机对天线阵列数字编码,实现波束的二维动态精确偏转。加工制作了一个2单元子阵列和一个6×12阵列,并对该天线系统的数字可控辐射方向图特性进行实验验证。该天线系统可以在11 GHz实现-30°至30°的波束扫描,步进扫描角为5°。该天线系统具有体积小、成本低、易于集成、波束控制准确等特点,在雷达系统、智能天线等领域具有广阔的应用前景。

参考文献 | 补充材料 | 相关文章 | 多维度评价
11篇文章