ニューラルネットワークのクロスエントロピー損失の「鋭さ」を閉形式の関数として導出することに成功しました。
深層学習がうまくいく条件の解明に取り組む内容です。
Title:
Wolkowicz-Styan Upper Bound on the Hessian Eigenspectrum for Cross-Entropy Loss in Nonlinear Smooth Neural Networks
非線形平滑ニューラルネットワークにおける交差エントロピー損失のヘッセ行列固有スペクトルに関するウォルコヴィッツ-スティアン上界
Arxiv: https://arxiv.org/abs/2604.10202
pdf版: https://arxiv.org/pdf/2604.10202
2020年代に提案・検証されてきた深層学習のFlatness仮説と関連する内容で、半年間、苦しみながら研究を続けました。
興味がありましたら、ぜひご覧ください。
本研究室ではこれからも、深層学習の謎の解明を目指し、追求を続けます！
