今や、機械学習は現在の世界を支える基盤技術の一つです。生成AIの登場により、少し勉強するだけで、簡単に実装することもできるようになりました。本研究室で、この世の中の流れを加速させるための研究に取り組んでいます。

実社会での機械学習の応用：
世の中をより良くするお手伝いとして、役立つ機械学習の実装も行なっています。医療応用（日大医学部、順天堂大学、群馬大学との共同研究）、重力波検出（東京都市大学宇宙科学研究センターとの共同研究）、スポーツ応用（国立スポーツ科学センターとの共同研究）、COVID-19の感染シミュレーション（内閣府コロナ対策室の依頼による）、学び合いを最適化する知能システム（山梨県立大学、上越教育大学との共同研究）などがあります。

電力変換器のデッドタイム補償の自動調整:
電力変換器では、デッドタイムによって出力電圧にひずみが生じます。その補償指令値は設計時に設定されますが、素子の交換や動作条件の変化によって最適値からずれてしまいます。そこで、指令値を自動調整する手法として、波形特徴量による回帰モデル、回帰型畳み込みニューラルネットワーク(CNN)を比較し、CNNが優れることを示しました。外部演算回路を用いた補償量の自動調整法も検討しています。本研究はIEEJから出版されました。

深層学習の汎化理論（損失へシアンの観点から）：
深層学習は多様な回帰・分類課題において優れた予測性能を示すことから、社会の各分野で社会実装が進んでいます。現在、応用研究における膨大な試行錯誤の結果、性能向上に寄与する手法が経験的に蓄積されつつあります。しかし、その知見の多くは経験的・統計的な言及にとどまっており、特定の環境外での再現性や信頼性が担保されないという大きな問題があります。そのため本研究は、深層学習がうまくいく/失敗する条件を数学的に厳密に記述することを目指しています。特に、平坦解、PACベイズ汎化ギャップ、へシアン解析などに注目しています。

  • [Abst.] [pdf] Y. Omae, Closed-Form Steepest Descent Direction toward Flat Minima: Reducing Upper Bounds on the Loss Hessian Eigenspectrum in Neural Networks
  • [Abst.] [pdf] Y. Omae, Wolkowicz-Styan Upper Bound on the Hessian Eigenspectrum for Cross-Entropy Loss in Nonlinear Smooth Neural Networks

ムダのない深層学習の構築手法：
深層学習では、予測に寄与しない情報を入力することや、不要な特徴を用いることが、計算コストの増加や予測性能・説明可能性の低下につながる場合があります。そこで本研究では、深層学習に含まれる不要な情報を特定・除去することで、より効率的な深層学習モデルを構築する手法について研究しています。特に、入力信号や特徴マップに着目し、予測に重要な情報を残しながら不要な情報を削減する手法を開発しています。

  • [url] Y. Omae et al., Deep learned features selection algorithm: Removal operation of anomaly feature maps (RO-AFM)
  • [url] Y. Omae et al., Features Gradient-based Signals Selection Algorithm of Linear Complexity for Convolutional Neural Networks

任意の深層学習の推定根拠の可視化法：
深層学習の推定根拠を可視化する手法としてGrad-CAMが脚光を浴びていますが、本手法は標準的なネットワーク構造にしか適用できないという制約があります。近年、モデルの高性能化を目的として、PCA（主成分分析）やSVM（サポートベクターマシン）をネットワーク内部に組み込んだハイブリッドモデルが登場しています。しかし、これらの特殊なレイヤを含むモデルに対しては、Grad-CAMを適用できないという課題がありました。その主な要因は、Grad-CAMの計算に不可欠なヤコビ行列（入出力間の1階導関数）の導出が困難であるためです。そこで本研究室では、任意のレイヤ構造を持つモデルにおいても推定根拠を可視化できるよう、入出力間のヤコビ行列の定式化を行っています。これまでに、内挿されたPCAレイヤやSVMレイヤの可視化に成功しました。このように、ブラックボックスで解釈が困難な深層学習を、ホワイトボックスで信頼性の高い技術へと昇華させる研究を推進しています。

サロゲート最適化における不確定性の厳密な定量化：
少ない試行回数で最適解を探索する手法はサロゲート最適化と呼ばれ、創薬や新材料開発といった高コストな実験を伴う分野で活用されています。本手法のプロセスは、不確実性の高い領域を調査する「探索」と、現時点での有望な領域を深掘りする「活用」に大別されます。一般に、観測序盤では探索を、終盤では活用を重視すべきとされますが、空間全体の不確実性を定量化する手法が確立されていなかったため、両者の調整は経験的なトレードオフに頼らざるを得ないという課題がありました。この問題を解決するため、本研究では探索空間全体の不確実性を「カーネル関数で表現された推定分散の積分値」と定義し、その積分の閉形式表現を導出することに成功しました。これにより、理論的根拠に基づいた効率的なサロゲート最適化が可能となります。現在は、ガウシアンカーネルだけでなく、より複雑なカーネル関数においても不確実性の閉形式表現を得るべく、その拡張に取り組んでいます。

計算効率の良いデータマイニングアルゴリズムの提案：
ビッグデータには、応用上意味のあるルール（オムツを買う人はビールを買いやすい、など）が大量に潜んでいます。しかし、既存のデータマイニング手法や統計的手法では、そのうちの一部しか取り出すことができません。組み合わせ爆発の問題を抱えているため、ある規模のサイズを超えたデータでは、あらゆるルールを取り出すことは不可能というのがその理由です。でも、なるべく多くのルールを発見したいものです。これを実現するため本研究では、修正アイチソン-エイトケン関数と呼ばれる集合を対象としたカーネル密度関数を提案し、従来よりも効率の良いベイズ最適化を生み出しました。これをベースとし、木構造ルールを低計算コストで大量に発見するルールマイニングアルゴリズムを提案しました。本研究室が提案した手法を用いることで、ビッグデータの中から、従来手法よりも多くのルールを発見できることが確認されています。

より良い特徴量探索アルゴリズムの提案：
機械学習による回帰・分類モデルを構築する際、特徴量ベクトルが高次元すぎると推定性能が低下することが知られています。そのため、特徴量集合の中から不要な特徴量を発見し、除去することが重要です。しかし、特徴量同士の組み合わせにより効果を発揮する特徴量もあるため、特徴量同士の組み合わせを考慮することが必要です。ただし、構成可能な特徴量の部分集合は組合せ爆発するため、通常、全探索を行うことは困難です（規模が大きいと、スパコンでも解けません）。これを解決する学術分野を特徴量探索と呼び、本研究室でも、特徴量部分集合の評価値を定量化し、実現可能な計算量でより良い特徴量の組み合わせを発見する手法の提案に取り組んでいます。