ニューラルネットワークのフラットネス仮説に関する研究成果を公表するため、情報論的学習理論と機械学習研究会に参加してきました。
会場は沖縄科学技術大学院大学（OIST, 沖縄県国頭郡）です。
理化学研究所（深層学習ユニット）の上級研究員の方から興味を持っていただけたようで、大変実りあるディスカッションをしていただきました。
昔招待講演を聞いて、尊敬していた人だったので、単純に嬉しかったです。
最近、機械学習の国内トップの研究者が話しかけてくれるので、なんかいい感じです。
苦節10年、ようやくまともなレベルになってきたのかも…
学会とは直接関係ありませんが、OISTでは世界各国から著名な研究者を招聘し、教員として迎え入れています。また、学生も非常に国際色豊かです。
大学内にはクリニックや幼稚園も整備されており、海外から招聘される研究者にとっても、安心して研究に専念できる環境が整っていると感じました。
さらに印象的だったのは、日本人の教員や学生が非常に少ないことです。日本人学生の割合は10％程度とのことで、日本語を話している人もほとんど見かけませんでした。フィンランドに住んでいた頃の感覚を思い出し、少し懐かしい気持ちになりました。
日本の偏差値文化から距離を置いた環境の中で、学生も教員も研究に集中できており、とても魅力的な教育・研究環境だと感じます。
このような国際的な大学がさらに増えていけば、日本全体の研究力や国際競争力の向上にもつながるのではないかと思いました。
発表内容は以下です。
タイトル：
大前佑斗, 酒井一樹, 柿本陽平, 佐々木真, 坂井佑輔, 髙橋弘毅, 非線形平滑ニューラルネットワークにおける交差エントロピー損失のへシアン最大固有値に関するウォルコヴィッツ-スティアン上界, 電子情報通信学会技術研究報告, vol.126, no.91, pp.77-82, 2026.
アブスト：
ニューラルネットワーク（NN）においては，学習により到達した損失関数上の極小解が鋭ければ汎化誤差が大きい傾向にあることが知られている．極小解近傍における損失関数はテイラー展開によって近似することが可能であり，その鋭さはへシアンの固有スペクトルにより表現される．通常，へシアンの固有方程式には閉形式解が存在しないことから，損失の鋭さを解析する多くの研究は数値近似法により固有スペクトルを評価している．このことから，鋭さの測定は可能であるものの，鋭さに関与する要因を解析的に分析することはできない．そのため本研究では，Wolkowicz-Styan上界を用いることで，非線形平滑NNの交差エントロピー損失に対するへシアンの最大固有値に対する上界を，閉形式の関数として導出する．この上界を観察することで，損失の鋭さは，アフィン変換パラメータ，隠れ層の次元，および教師データサンプル間の直交性によって特徴づけられることがわかった．本研究の学術的貢献は，隠れ層を持つ非線形平滑NNにおける損失の鋭さを数値解ではなく解析解で表現したことである．
海にも行ってきました。アイキャッチはその画像です。
すごくきれい。
