近日,人工智能与统计学习团队在人工智能算法理论领域的系列研究成果被国际人工智能领域会议AAAI-2023(The 37th AAAI Conference on Artificial Intelligence)录用。
第一篇论文以“On the Stability and Generalization of Triplet Learning”为题,用发展稳定性分析工具建立了三元组学习算法的泛化性刻画,填补了三元组学习统计学习理论的空白。相较于逐点学习和成对学习,三元组学习往往适用于类别数极大的分类任务(如人脸识别和行人重识别),近年来多种三元组学习算法被提出并显示了出色的经验性能。针对其泛化理论研究的空白,该文首先利用一致稳定性分析建立了三元组学习算法的首个高概率泛化上界,并针对随机梯度下降(SGD)和正则化风险最小化(RRM)给出了泛化及超额风险上界估计,进而依托平均稳定性刻画了低噪情形下RRM期望形式的泛化误差和超额风险,并将理论分析结果应用于度量学习和对比学习任务中。
第二篇论文以“Stability-based Generalization Analysis for Pointwise and Pairwise Learning”为题,研究了基于混合误差度量的Pointwise and Pairwise Learning (PPL)范式的理论基础。该文将算法稳定性的定义扩展PPL情形,通过发展成对学习的稳定性分析技术,建立了PPL模式下的随机梯度下降算法的收敛速度及泛化误差估计。
第三篇论文以“Stepdown SLOPE for Controlled Feature Selection”为题,突破已有排序L1惩罚估计 (Sorted L-One Penalized Estimation, SLOPE)仅关注特征错选率(FDR)控制的局限,构建了新的分别面向k-FWER和FDP控制的Stepdown SLOPE模型,并分析了正交情形下的模型统计性质。数据实验表明即使在一般情形下所构建模型依然具有良好的特征选择可控性。
上述论文的第一作者分别为信息学院博士研究生陈君、理学院硕士研究生王佳欢、梁婧轩,通讯作者为理学院陈洪教授。理学院李伟夫副教授、信息学院博士研究生张学林、西安交通大学龚铁良助理教授、南方科技大学郑锋研究员等也参与了相关研究工作。此外,陈洪参与合作研究的论文“Robust and Fast Measure of Information via Low-rank Representation”也被AAAI-2023接受。