「平坦解（曲率の低い局所解）はニューラルネットワークを高い汎化に導く」という仮説が提唱されてから、40年の月日が経ちました。
現在では、SAMやヘシアン正則化などの手法により、深層学習においてこの仮説が成立するという結果が数多く観察されています。
しかし、「平坦解へ至る方向」が教師データ分布やモデルパラメータからどのような影響を受けるのかについては、現在でも未解明でした。
この未解明の問題を解くため、「平坦解への方向」を解析的に表現することを試みて、無事成功しました。
また、この方向への学習（パラメータ更新）は、クロスエントロピー損失ヘシアンの最小・最大固有値を0に近づける効果を持つことを示しました。
これは、鞍点を避けながら平坦解への到達をサポートする効果を持つことを意味します。
閉形式の関数でこれを実現した研究は、おそらく初めてです。
本研究はこれをへシアン・スペクトラ・レンジ正則化（HSR正則化）と名づけ、ニューラルネットワークを高い汎化に導くことを実証しました。
前半：損失の鋭さの閉形式解
[Abst.] [pdf] Y. Omae, Wolkowicz-Styan Upper Bound on the Hessian Eigenspectrum for Cross-Entropy Loss in Nonlinear Smooth Neural Networks, 非線形平滑ニューラルネットワークにおけるクロスエントロピー損失のへシアン固有値スペクトルに対するウォルコウィッツ・スティアンの上界
後半：損失の鋭さの最急減少方向の閉形式解
[Abst.] [pdf] Y. Omae, Closed-Form Steepest Descent Direction toward Flat Minima: Reducing Upper Bounds on the Loss Hessian Eigenspectrum in Neural Networks, 平坦解への最急降下方向の閉形式表現：ニューラルネットワークにおける損失へシアンの固有スペクトル上界の削減
地獄のような計算でしたが、なんとかとききりました。興味があれば、ぜひご閲覧ください。
また、論文タイトルをコピペして、生成AIに説明を依頼すれば、いろいろ教えてくれます。
これは、ニューラルネットワークを平坦解に到達させるための方向が何によって決まるのか、数値近似に頼らず、閉形式解の観察により明らかにすることを試みる理論的側面を重視した研究です。本研究室では、これからも深層学習の謎の解明に取り組みます！
