PyLearnMLCR 06: モデルのセーブとロード¶
これまで、色々な手法によるモデル構築、良いモデルを選択する方法について学んできました。さて、それを実システムに使用するためには、作成したモデルを保存しなければいけません。ここでは、そのモデルの保存（セーブ）と読み込み（ロード）の方法について学びます。
モデルの構築¶
以下は、今までとまったく同じダミーデータを用意して、ニューラルネットを1つ構築するコードとなります。 今までと同じなので、X1, X2からYを推定するモデルとなります。
- X1: 勉強時間
- X2: 理解傾向
- Y: 試験得点ラベル（Bad, Good, Middle）
# *** ダミーデータの用意 ***
import numpy as np
np.random.seed(1) # 擬似乱数シード： 毎回同じ乱数を出す
# Class1: 成績上位群
mu = [7, 7]
sigma = [[0.5, 0.05], [0.05, 0.5]]
Dat01 = np.random.multivariate_normal(mu, sigma, 100)
Label01=[]
for i in range(0, len(Dat01)):
Label01.append("Good")
# Class 2: 成績中位群
mu = [5.5, 4]
sigma = [[0.8, -0.5], [-0.5, 0.8]]
Dat02 = np.random.multivariate_normal(mu, sigma, 100)
Label02=[]
for i in range(0, len(Dat02)):
Label02.append("Middle")
# Class 3: 成績下位群
mu = [2, 5]
sigma = [[0.3, 0.0], [0.0, 3]]
Dat03 = np.random.multivariate_normal(mu, sigma, 100)
Label03=[]
for i in range(0, len(Dat01)):
Label03.append("Bad")
# *** 教師データセットの作成 ***
X=np.concatenate([Dat01, Dat02, Dat03]) # 問題
Y=np.concatenate([Label01, Label02, Label03]) # 正解ラベル
# *** ニューラルネットの定義 ***
from sklearn.neural_network import MLPClassifier
NN_model = MLPClassifier(hidden_layer_sizes=(10, 10, ), solver="adam", activation="logistic", learning_rate_init=0.1,
random_state=1, max_iter=20, alpha=0.01, tol = pow(10, -5), verbose=True)
# *** ニューラルネットの学習 ***
NN_model.fit(X, Y)
hidden_layer_sizes=(5, 4, )ですので、
- 1層目: 入力層2次元（勉強時間、理解傾向）
- 2層目: 隠れ層5次元
- 3層目: 隠れ層4次元
- 4層目: 出力層3次元（Bad, Good, Middleラベル分3つ）
の4層階層型のニューラルネットです。学習係数は0.1と比較的大きめ、活性化関数はlogisticなのでシグモイド関数です。この設定で、20回だけニューラルを学習させました。「the optimization hasn't converged yet.」という警告が出ているので、まだ精度が収束していないことがわかります。とはいえここでは気にせず、先に進みます。このモデルは、1時間勉強して、理解傾向が5のとき、何点と予測してくれるか調べてみます。
StudyTime = 1
Understand = 5
Res = NN_model.predict([[StudyTime, Understand]])
print(Res)
1時間勉強し、理解傾向が5の場合は、成績は悪いよと予測してくれています。てきとうに作ったモデルですが、そんなに悪くはなさそうですね。
モデルのセーブ¶
このように学習が終了しましたが、これではpythonを閉じた時点で（メモリを解放した時点で）学習済みモデルが消失してしまいます。これでは実際の現場では使用できません。モデルを保存することが必要です。モデルの保存は、以下のように書けばokです。
import pickle
filename = 'NN_model.sav'
pickle.dump(NN_model, open(filename, 'wb'))
プログラムがあるディレクトリを確認して、NN_model.savファイルがあることを確認してください。それが学習済みモデルとなります。なお、これだといつ保存したモデルなのかわからなくなってしまいます。長く研究を行なっているとき、モデルを改良したりすることがあります。こう言ったときは、ファイル名への時間付与も検討してください。
# ファイル名に時間を付与
from datetime import datetime
filename = 'NN_model_'
filename = filename + datetime.now().strftime('%Y%m%d_%H%M%S') + '.sav'
print(filename)
pickle.dump(NN_model, open(filename, 'wb'))
datetime.now().strftime('%Y%m%d_%H%M%S')は、現在の年、月、日、時間、分、秒を文字列として取得するコードです（時刻取得について詳しく知りたい人は自分で調べてみてください）。ディレクトリを見ると、保存されたファイルがあるはずです。これで時刻付きモデルを保存することができました。これによって、いつ作ったモデルなのか、知ることができます。ノートなどにどういう条件で学習させたかなど、書いておくといいでしょう（化学などの実験みたいですね！）。
モデルのロード¶
次に、保存したモデルをロードしてみます。
filename = 'NN_model.sav' # ファイル名を指定
Load_model = pickle.load(open(filename, 'rb'))
これでモデルのロードが完了しました。ロードしたモデルで予測結果を得てみます。
StudyTime = 1
Understand = 5
# ロードしたモデルの推定結果
Res_load = Load_model.predict([[StudyTime, Understand]])
# 現在のメモリに格納されているモデルの推定結果
Res_mem = NN_model.predict([[StudyTime, Understand]])
print('ロードモデルの推定結果:', Res_load)
print('メモリにあるモデルの推定結果:', Res_mem)
print('等価判定: ', Res_load == Res_mem)
ロードしたモデルの予測結果と、現在のメモリに入っているモデルの予測結果が一致したことを確認できました。そのままの状態で保存されていることがわかります。
ところで、複数のモデルを構築したとして、一番最後に保存したモデルを使いたい、ということもあるでしょう。これを実現するには、以下のように記述します。
# .sav拡張子のファイルを取得
import glob as gl
NameList = gl.glob('*.sav')
# 降順ソート
NameList.sort(reverse=True)
print(NameList)
# 最新のファイル名を取得
filename = NameList[0]
print(filename)
# 最新のモデルをロード
Load_model = pickle.load(open(filename, 'rb'))
ロードしたモデルのパラメータ¶
ロードしたモデルの詳細なパラメータなども、printで見ることで確認することが可能です。ニューラルネットは階層的なベクトルの線形写像（を活性化関数に通したもの）によって実現されます。ウェイトパラメータは、入力されたベクトルの次元変換を行う行列、バイアスパラメータは、ウェイトにより次元変換されたベクトルのバイアス成分となります。興味がある人は勉強してみましょう。
print(Load_model)
print('ハイパーパラメータ:', Load_model.get_params())
print('バイアスパラメータ: ', Load_model.intercepts_)
print('ウェイトパラメータ: ', Load_model.coefs_)
ちなみに、学習時点の評価関数の値も取り出せます。「学習状況を知りたいから、ニューラルの学習状況の図を作ってよ」と教員に言われた場合は、以下のように描けばokです。
import matplotlib.pyplot as plt
LossFunc = Load_model.loss_curve_
plt.plot(LossFunc)
plt.xlabel('Iteration')
plt.ylabel('Evalation')
Iterationが学習回数、Evaluationがニューラルネットの誤差だと考えてください。学習を進めるごとに、教師データの誤差が減っていることを確認できます。もうちょっと学習を行っても良さそうですね。
おわりに¶
構築したモデルのセーブとロードの方法について説明しました。研究や分析を行っているとき、1日で作業が完了することはあまりありません。また、モデルを1つ作って終わりということもないです。そのため、きちんと自分の作ったモデルを、時間を記録しながらセーブすることができるようになりましょう！！