吴心宇,陈天平,卢文联.分段线性神经网络的逼近理论[J].数学年刊A辑,2024,(1):53~70
分段线性神经网络的逼近理论
Approximation Theory on Piece Wise Linear Neural Networks
投稿时间:2022-11-28  修订日期:2023-10-10
DOI:10.16205/j.cnki.cama.2024.0005
中文关键词:  分段线性  神经网络  逼近理论  
英文关键词:Piece wise linear  Neural network  Approximation theorem
基金项目:国家重点研发计划(No.2018AAA0100303); 国家自然科学基金(No.62072111); 上海市科技重大专项(No.2018SHZDZX01); 张江实验室项目
作者单位
吴心宇 复旦大学数学科学学院, 上海 200433. 
陈天平 复旦大学数学科学学院, 上海 200433
上海数学中心, 上海 200438
上海市现代应用数学重点实验室, 上海 200433. 
卢文联 复旦大学数学科学学院, 上海 200433
上海数学中心,上海 200438
上海市现代应用数学重点实验室, 上海 200433. 
摘要点击次数: 186
全文下载次数: 541
中文摘要:
      随着分段线性函数的广泛应用,本文尝试研究浅层和深层的分段线性神经网络的逼近理论.作者将应用于三层感知机模型的万能逼近定理拓展到分段线性神经网络中,并给出与隐藏神经元个数相关的逼近误差估计.利用分段线性函数构造锯齿函数的显式方法,证明解析函数可以通过分段线性神经网络的深度堆叠以指数速率逼近,并辅以相应的数值实验.
英文摘要:
      With the wide application of Piece Wise Linear (PWL for short) functions, this paper attempts to address the approximation theory on Piece Wise Linear Neural Networks (PWLNNs for short) for both shallow networks and deep neural networks (DNNs for short). The authors extend the universal approximation theorem of three-layer MultiLayer Perceptrons (MLPs for short) with PWL functions and bound the error by the number of hidden neurons. The authors give an explicit way of constructing sawtooth functions from PWL functions, and thus prove analytic functions can be approximated at an exponentially convergent rate by stacking depth rather than increasing width. Numerical experiments are also provided to verify the conclusions.
查看全文  查看/发表评论  下载PDF阅读器
关闭

主管单位:国家教育部 主办单位:复旦大学 地址:220 Handan Road, Fudan University, Shanghai, China E-mail:edcam@fudan.edu.cn

本系统由北京勤云科技发展有限公司提供技术支持