深層学習の汎化理論に対する新たな定理を立て、証明を与えました。
これまで人類にとって大きな謎であった深層学習がうまくいく条件の解明に取り組む内容です。
統計的・経験的ではなく、反証を許さない定理として示すところがポイントです。
Title:
Wolkowicz-Styan Upper Bound on the Hessian Eigenspectrum for Cross-Entropy Loss in Nonlinear Smooth Neural Networks
非線形平滑ニューラルネットワークにおける交差エントロピー損失のヘッセ行列固有スペクトルに関するウォルコヴィッツ-スティアン上界
Arxiv: https://arxiv.org/abs/2604.10202
pdf版: https://arxiv.org/pdf/2604.10202
2020年代に提案・検証されてきた深層学習のシャープネス仮説を前進させるもので、半年間くるしみながら研究を続けました。
興味がありましたら、ぜひご覧ください。
本研究室ではこれからも、深層学習の謎の解明を目指し、追求を続けます！
