はじめに
前回の続きで、今度はText classificationを試してみる。
Text classification
Text classification with movie reviews | TensorFlow
今回は、映画レビューの内容が「ポジティブ」か「ネガティブ」かを分類する、という内容。実用的。
データセットはInternet Movie DatabeseというサイトのIMDB datasetというもので50,000のレビュー(25,000が訓練用、25,000がテスト用)が含まれているとのこと。
データセットの確認
各データはレビューの単語の配列になっている。単語は扱いやすいよう整数に置き換えてある。ラベルは0/1で表現。0がネガティブ、1がポジティブ。 当然だがレビューごとに単語数は異なる。 最もよく出現する10,000単語のみを使用する。単語数が多くなりすぎるとデータを扱いにくくなってしまうため、あまり出てこない単語は捨てるよう。
具体的に見てみる。
import tensorflow as tf from tensorflow import keras import numpy as np # データセットのダウンロード imdb = keras.datasets.imdb (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000) # 最もよく出現する10,000単語を使用 # データ数 print("Training entries: {}, labels: {}".format(len(train_data), len(train_labels))) # レビューのデータ形式 print("First review data: {}".format(train_data[0])) # 単語数 print("First review words: {}, Second review words: {}".format(len(train_data[0]), len(train_data[1])))
出力:
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/imdb.npz 17465344/17464789 [==============================] - 1s 0us/step Training entries: 25000, labels: 25000 First review data: [1, 14, 22, 16, 43, 530, 973, 1622, 1385, 65, 458, 4468, 66, 3941, 4, 173, 36, 256, 5, 25, 100, 43, 838, 112, 50, 670, 2, 9, 35, 480, 284, 5, 150, 4, 172, 112, 167, 2, 336, 385, 39, 4, 172, 4536, 1111, 17, 546, 38, 13, 447, 4, 192, 50, 16, 6, 147, 2025, 19, 14, 22,4, 1920, 4613, 469, 4, 22, 71, 87, 12, 16, 43, 530, 38, 76, 15, 13, 1247, 4, 22, 17, 515, 17, 12, 16, 626, 18, 2, 5, 62, 386, 12, 8, 316, 8, 106, 5, 4, 2223, 5244, 16, 480, 66, 3785, 33, 4,130, 12, 16, 38, 619, 5, 25, 124, 51, 36, 135, 48, 25, 1415, 33, 6, 22, 12, 215, 28, 77, 52, 5, 14, 407, 16, 82, 2, 8, 4, 107, 117, 5952, 15, 256, 4, 2, 7, 3766, 5, 723, 36, 71, 43, 530, 476, 26, 400, 317, 46, 7, 4, 2, 1029, 13, 104, 88, 4, 381, 15, 297, 98, 32, 2071, 56, 26, 141, 6,194, 7486, 18, 4, 226, 22, 21, 134, 476, 26, 480, 5, 144, 30, 5535, 18, 51, 36, 28, 224, 92, 25, 104, 4, 226, 65, 16, 38, 1334, 88, 12, 16, 283, 5, 16, 4472, 113, 103, 32, 15, 16, 5345, 19,178, 32] First review words: 218, Second review words: 189
整数になっている単語をテキストに変換する。
# 単語とインデックスの辞書を取得 word_index = imdb.get_word_index() # 最初の方のインデックスは予約済み word_index = {k:(v+3) for k,v in word_index.items()} word_index["<PAD>"] = 0 word_index["<START>"] = 1 word_index["<UNK>"] = 2 # unknown word_index["<UNUSED>"] = 3 reverse_word_index = dict([(value, key) for (key, value) in word_index.items()]) def decode_review(text): return ' '.join([reverse_word_index.get(i, '?') for i in text]) # 1つ目のレビューをデコード print(decode_review(train_data[0]))
出力:
<START> this film was just brilliant casting location scenery story direction everyone's really suited the part they played and you could just imagine being there robert <UNK> is an amazing actor and now the same being director <UNK> father came from the same scottish island as myself so i loved the fact there was a real connection with this film the witty remarks throughout the film were great it was just brilliant so much that i bought the film as soon as it was released for <UNK> and would recommend it to everyone to watch and the fly fishing was amazing really cried at the end it was so sad and you know what they say if you cryat a film it must have been good and this definitely was also <UNK> to the two little boy's that played the <UNK> of norman and paul they were just brilliant children are often left out of the <UNK> list i think because the stars that play them all grown up are such a big profile for the whole film but these children are amazing and should be praised for what they have done don't you think the whole story was so lovely because it was true and was someone's life after all that was shared with us all
データの準備
レビューのデータをニューラルネットワークに渡せる形式に変換する。変換には2つの方法が考えられるとのこと。
one-hot表現と同じような感じで、その単語が出現する場合は該当するインデックスの値を1に、それ以外を0で埋めた配列に変換する方法。例えば、[3, 5]というレビューデータがあったら、要素数10,000の0で埋められた配列で、インデックス3と5だけが1になるような形式に変換する。
num_words * num_reviewsのサイズのマトリクスが必要になる。すべてのレビューデータが同じ長さの配列になるよう、パディングする方法。
max_length * num_reviewsのサイズのマトリクスが必要になる。
今回は2つ目のアプローチを使う。pad_sequencesでパディングできるらしい。下記ではtrain_dataとtest_dataについてword_index["<PAD>"]の値(=0)を配列のサイズが256になるように後ろに詰めていく。
# パディング train_data = keras.preprocessing.sequence.pad_sequences(train_data, value=word_index["<PAD>"], padding='post', maxlen=256) test_data = keras.preprocessing.sequence.pad_sequences(test_data, value=word_index["<PAD>"], padding='post', maxlen=256) print("len(train_data[0]: {}, len(train_data[1]: {}".format(len(train_data[0]), len(train_data[1]))) print(train_data[0])
出力:
len(train_data[0]: 256, len(train_data[1]: 256
[ 1 14 22 16 43 530 973 1622 1385 65 458 4468 66 3941
4 173 36 256 5 25 100 43 838 112 50 670 2 9
35 480 284 5 150 4 172 112 167 2 336 385 39 4
172 4536 1111 17 546 38 13 447 4 192 50 16 6 147
2025 19 14 22 4 1920 4613 469 4 22 71 87 12 16
43 530 38 76 15 13 1247 4 22 17 515 17 12 16
626 18 2 5 62 386 12 8 316 8 106 5 4 2223
5244 16 480 66 3785 33 4 130 12 16 38 619 5 25
124 51 36 135 48 25 1415 33 6 22 12 215 28 77
52 5 14 407 16 82 2 8 4 107 117 5952 15 256
4 2 7 3766 5 723 36 71 43 530 476 26 400 317
46 7 4 2 1029 13 104 88 4 381 15 297 98 32
2071 56 26 141 6 194 7486 18 4 226 22 21 134 476
26 480 5 144 30 5535 18 51 36 28 224 92 25 104
4 226 65 16 38 1334 88 12 16 283 5 16 4472 113
103 32 15 16 5345 19 178 32 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0]
モデルの構築
入力は10,000種の単語のインデックスが入った256のサイズのレビューデータ、出力はネガティブ(=0)、ポジティブ(=1)のラベル。
最初のレイヤーは
Embeddingレイヤー。単語のインデックスで表現されたデータをベクトルデータに変換する必要がある。ここではベクトルデータに変換する前処理をするよう。単語のインデックスの並びに意味はないからベクトルデータに変換する必要性はなんとなく直感的にはわかる気がするが…もうちょっと勉強しないと理解出来ないかも…以下に説明がありそうなのであとで読もう。Embeddingを使うためにone-hot表現ではなくパディングを使う方法にしたのかな？次は
GlobalAveragePooling1Dレイヤー。平均プーリング演算を行う。一定範囲の平均値を取ることでダウンスケールする。畳み込みみたいに隣り合う単語をひとかたまりにして扱うことになるから、単語の並び等による特徴見ないなものを扱えるということかな？その次は
Denseレイヤー。前回と同じくReLU関数。最後も
Denseレイヤー。Sigmoid関数で、出力ノードはポジティブ/ネガティブの判断なので1個。0-1の範囲のfloat型で、確率を表す。
vocab_size = 10000 # 10,000語 model = keras.Sequential() model.add(keras.layers.Embedding(vocab_size, 16)) # Embeddingレイヤー model.add(keras.layers.GlobalAveragePooling1D()) # 平均プーリング演算 model.add(keras.layers.Dense(16, activation=tf.nn.relu)) # ReLU関数 model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid)) # Sigmoid関数 model.summary()
出力:
_________________________________________________________________ Layer (type) Output Shape Param # ================================================================= embedding (Embedding) (None, None, 16) 160000 _________________________________________________________________ global_average_pooling1d (Gl (None, 16) 0 _________________________________________________________________ dense (Dense) (None, 16) 272 _________________________________________________________________ dense_1 (Dense) (None, 1) 17 ================================================================= Total params: 160,289 Trainable params: 160,289
今回は2つの隠れ層がある。そのノード数やレイヤー数をもっと増やすこともでき、それによってより複雑な表現を学習することができるが、一方で学習の計算量が増えたり、過学習につながったりするよう。
損失関数と最適化手法を決める。一般的に確率を扱うときはbinary_crossentropy(2クラスの交差エントロピー)が良いらしい。最適化手法は前回と同じAdamを使う。
# 損失関数と最適化手法を指定してコンパイル model.compile(optimizer=tf.train.AdamOptimizer(), loss='binary_crossentropy', metrics=['accuracy'])
モデルの訓練
訓練時に、まだ使っていないデータで精度のチェックをするため、訓練データを訓練用と評価用に分ける。テスト用データは最後の評価にのみ使うためここでは使わない。
512サンプルのミニバッチで40エポックでモデルの訓練を行う。訓練中、損失と精度を監視する。
# 評価用データを分離 x_val = train_data[:10000] partial_x_train = train_data[10000:] y_val = train_labels[:10000] partial_y_train = train_labels[10000:] # モデルの訓練 history = model.fit(partial_x_train, partial_y_train, epochs=40, batch_size=512, validation_data=(x_val, y_val), verbose=1) results = model.evaluate(test_data, test_labels) print(results)
出力:
Train on 15000 samples, validate on 10000 samples Epoch 1/40 2018-12-29 16:29:49.064942: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA 15000/15000 [==============================] - 1s 48us/step - loss: 0.6919 - acc: 0.5866 - val_loss: 0.6897 - val_acc: 0.6686 Epoch 2/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.6854 - acc: 0.7190 - val_loss: 0.6803 - val_acc: 0.7111 Epoch 3/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.6713 - acc: 0.7491 - val_loss: 0.6630 - val_acc: 0.7424 Epoch 4/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.6470 - acc: 0.7587 - val_loss: 0.6358 - val_acc: 0.7729 Epoch 5/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.6111 - acc: 0.7967 - val_loss: 0.5975 - val_acc: 0.7868 Epoch 6/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.5650 - acc: 0.8156 - val_loss: 0.5521 - val_acc: 0.8030 Epoch 7/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.5130 - acc: 0.8348 - val_loss: 0.5052 - val_acc: 0.8227 Epoch 8/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.4626 - acc: 0.8519 - val_loss: 0.4623 - val_acc: 0.8372 Epoch 9/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.4180 - acc: 0.8643 - val_loss: 0.4259 - val_acc: 0.8472 Epoch 10/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.3795 - acc: 0.8782 - val_loss: 0.3965 - val_acc: 0.8548 Epoch 11/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.3481 - acc: 0.8857 - val_loss: 0.3753 - val_acc: 0.8591 Epoch 12/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.3225 - acc: 0.8922 - val_loss: 0.3547 - val_acc: 0.8675 Epoch 13/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.2992 - acc: 0.8993 - val_loss: 0.3406 - val_acc: 0.8718 Epoch 14/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.2801 - acc: 0.9055 - val_loss: 0.3282 - val_acc: 0.8730 Epoch 15/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.2635 - acc: 0.9099 - val_loss: 0.3187 - val_acc: 0.8767 Epoch 16/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.2493 - acc: 0.9130 - val_loss: 0.3110 - val_acc: 0.8786 Epoch 17/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.2355 - acc: 0.9189 - val_loss: 0.3047 - val_acc: 0.8791 Epoch 18/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.2236 - acc: 0.9231 - val_loss: 0.2995 - val_acc: 0.8819 Epoch 19/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.2124 - acc: 0.9267 - val_loss: 0.2955 - val_acc: 0.8829 Epoch 20/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.2026 - acc: 0.9309 - val_loss: 0.2921 - val_acc: 0.8831 Epoch 21/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1930 - acc: 0.9343 - val_loss: 0.2895 - val_acc: 0.8841 Epoch 22/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1842 - acc: 0.9386 - val_loss: 0.2879 - val_acc: 0.8848 Epoch 23/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1762 - acc: 0.9421 - val_loss: 0.2869 - val_acc: 0.8849 Epoch 24/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1681 - acc: 0.9467 - val_loss: 0.2854 - val_acc: 0.8843 Epoch 25/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1611 - acc: 0.9496 - val_loss: 0.2850 - val_acc: 0.8856 Epoch 26/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1540 - acc: 0.9521 - val_loss: 0.2853 - val_acc: 0.8861 Epoch 27/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1481 - acc: 0.9543 - val_loss: 0.2862 - val_acc: 0.8852 Epoch 28/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1419 - acc: 0.9575 - val_loss: 0.2862 - val_acc: 0.8868 Epoch 29/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1362 - acc: 0.9580 - val_loss: 0.2870 - val_acc: 0.8860 Epoch 30/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1312 - acc: 0.9611 - val_loss: 0.2886 - val_acc: 0.8857 Epoch 31/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1253 - acc: 0.9633 - val_loss: 0.2903 - val_acc: 0.8853 Epoch 32/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1206 - acc: 0.9652 - val_loss: 0.2924 - val_acc: 0.8852 Epoch 33/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1153 - acc: 0.9677 - val_loss: 0.2946 - val_acc: 0.8846 Epoch 34/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1109 - acc: 0.9689 - val_loss: 0.2975 - val_acc: 0.8848 Epoch 35/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1069 - acc: 0.9705 - val_loss: 0.2994 - val_acc: 0.8848 Epoch 36/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.1021 - acc: 0.9725 - val_loss: 0.3026 - val_acc: 0.8839 Epoch 37/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.0983 - acc: 0.9741 - val_loss: 0.3057 - val_acc: 0.8833 Epoch 38/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.0949 - acc: 0.9743 - val_loss: 0.3094 - val_acc: 0.8828 Epoch 39/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.0907 - acc: 0.9766 - val_loss: 0.3118 - val_acc: 0.8826 Epoch 40/40 15000/15000 [==============================] - 0s 23us/step - loss: 0.0870 - acc: 0.9783 - val_loss: 0.3156 - val_acc: 0.8823 25000/25000 [==============================] - 1s 26us/step [0.33660515230178834, 0.87224]
最終的に精度は約87.2%になった。今回は単純なアプローチだが、応用的なアプローチを使うと95%くらいになるとのこと。
model.fit()の戻り値はHistoryオブジェクトで、訓練時の情報が入っているらしい。これを使って精度をグラフにプロットする。
import matplotlib.pyplot as plt acc = history.history['acc'] val_acc = history.history['val_acc'] loss = history.history['loss'] val_loss = history.history['val_loss'] epochs = range(1, len(acc) + 1) # "bo"は"blue dot" plt.plot(epochs, loss, 'bo', label='Training loss') # bは"solid blue line" plt.plot(epochs, val_loss, 'b', label='Validation loss') plt.title('Training and validation loss') plt.xlabel('Epochs') plt.ylabel('Loss') plt.legend() plt.show()
出力:
訓練データの損失はエポックを重ねるごとに小さくなっている。最適化手法の勾配降下によるもの。一方で評価データでの損失は25-30あたりにピークが来ているように見え、過学習していることがわかる。
history_dict = history.history plt.clf() # clear figure acc_values = history_dict['acc'] val_acc_values = history_dict['val_acc'] plt.plot(epochs, acc, 'bo', label='Training acc') plt.plot(epochs, val_acc, 'b', label='Validation acc') plt.title('Training and validation accuracy') plt.xlabel('Epochs') plt.ylabel('Accuracy') plt.legend()
出力:
精度についても損失と同じような傾向で、訓練データではエポックが進むごとに精度が上がっているが、評価データでは20エポックを過ぎたあたりにピークがあり、過学習していることがわかる。評価データで精度が下がる(過学習する)前に訓練を止めるべきということのよう。
結構簡単に過学習してしまうのだな、という印象を受けた。モデルの決め方等も含めて、まだまだいろんなノウハウが必要なんだろう。今回は87.2%だったが95%くらいまで上げられると書いてあったし。もう少し勉強したらこのネタでもっと精度を上げることにもチャレンジしようかな。
Portions of this page are modifications based on work created and shared by Google and used according to terms described in the Creative Commons 3.0 Attribution License.
