face-109968_1920

fastai v2による深層学習

深層学習ライブラリfastai

fastaiは最も簡単に深層学習を行うことができるPythonのパッケージです．毎年3月くらいに行われる講義を無料で公開してきましたが，2020年度はコロナの影響で（中心人物がマスクの普及に奔走していたために）8/22にやっと公開されました．2020年度版では本（の原稿のJupyter Notebook）も公開されています．

2020年度の講義で使うために，fastaiのバージョンも2にあがりました．簡単に使用法をご紹介していこうと思います．

インストール

GPU付きのlinuxにインストールします．最も簡単なのはGoogle Colab. です．このページから直接本の各章のノートをGoogle Colab.で開くことがでいます．

実は，Colab.からpublicに設定されたgithubのページは簡単に開けます．たとえば，第３章を開くには，

https://colab.research.google.com/github/fastai/fastbook/blob/master/03_ethics.ipynb

とします．

Google Colab.にはfastaiの元になるPyTorchがすでにインストールされているので，ランタイムをGPUに変更してから

!pip install -Uqq fastbook
import fastbook
fastbook.setup_book()

とすればインストール完了です．

最初の例題（犬猫の判別）

例として，犬と猫を判別してみましょう．まず，必要なモジュールをインポートします．

from fastbook import *
from fastai.vision.all import *

次にデータを読み込み，猫かどうかを返す関数is_catを準備します．PETSデータセットでは最初の文字が大文字なら猫です．

この関数を用いてデータローダーを生成し，34層のRESNETを用いた学習器を作り，転移学習データを用いて，転移学習用の最適化メソッド fine_tuneを用いて1エポックだけ訓練します．

path = untar_data(URLs.PETS)/’images’def is_cat(x): return x[0].isupper()
dls = ImageDataLoaders.from_name_func(
path, get_image_files(path), valid_pct=0.2, seed=42,
label_func=is_cat, item_tfms=Resize(224)learn = cnn_learner(dls, resnet34, metrics=error_rate)
learn.fine_tune(1)

これだけで，以下の結果が得られます．誤差率（1-正解率）は非常に小さいことが見てとれます．

 

上欄が最終層以外を固定して訓練した1エポック，下欄がすべての層を自由にして訓練した1エポックを表します．

１バッチ分の結果を表示させると以下のようになります．すべて正解になっていることが確認できます．

 

download

手書き文字認識

次に，深層学習の”Hello World”でもあるMNISTデータセットで手書き文字の分類をしてみましょう．データを読み込んで画像用のデータローダーを生成します．

path = untar_data(URLs.MNIST)
dls = ImageDataLoaders.from_folder(path,train=”training”,valid=”testing”)

次に，学習器learnを生成してから，学習率決定のためのlr_findメソッドを呼び出します．

learn = cnn_learner(dls, resnet34, metrics=[error_rate,accuracy],cbs=ShowGraphCallback())
lr_min, lr_steep = learn.lr_find()
print(lr_min, lr_steep)
>> 0.014454397559165954 0.005248074419796467

lr_findの返値は，損失関数が最小になる学習率の1/10 (lr_min) と，傾きが最大になる学習率 (lr_steep) のタプルです． この２つの値の間あたりが，良い学習率となるので，ここでは． base_lrを0.02に設定して訓練をしてみます．

learn.fine_tune(2, base_lr=0.02)

これによって，正解率は99.5%となりました．こちらのサイトよると，この数値は，数年前の世界記録です．

テキストデータ

画像だけでなく，テキストデータの処理でもfastaiは優秀です．キーになるのは，言語モデルに対する転移学習です．

言語モデルとは，文章を与えたとき，その後に続く文章を予測する訓練を行うことによって，単語を数値ベクトルで表すエンコーディングを行うものです． fastaiでは，Wikipediaの膨大なテキストデータを用いた学習済みのモデルであるAWD_LSTMを準備しています． 映画の批評データを例として，fastaiのテキストデータ処理を試してみましょう．

まず，映画批評のデータセットと学習済のパラメータAWD_LSTMを読み込んで言語モデルの学習器をつくります．

from fastai.text.all import *
path = untar_data(URLs.IMDB)

get_imdb = partial(get_text_files, folders=[‘train’, ‘test’, ‘unsup’])

dls_lm = DataBlock(
blocks=TextBlock.from_folder(path, is_lm=True),
get_items=get_imdb, splitter=RandomSplitter(0.1)
).dataloaders(path, path=path, bs=128, seq_len=80)

learn = language_model_learner(
dls_lm, AWD_LSTM, drop_mult=0.3,
metrics=[accuracy, Perplexity()]).to_fp16()

これによって，次の単語を出力（予測）することがでいます．試しに，ピコ太郎の歌の続きを作詞してもらいましょう．

TEXT = “This is a pen. That is an”
N_WORDS = 40
N_SENTENCES = 2
preds = [learn.predict(TEXT, N_WORDS, temperature=0.75)
for _ in range(N_SENTENCES)]
print(preds)

>>[“This is a pen . That is an allusion to what i ‘ ve known as The Radio Times . BBC Radio 1 ! is an example of how a different composer can work with an orchestra and which contains over half a”, ‘This is a pen . That is an especially unusual phrase for an artist who has been ascribed to the term , and is sometimes referred to as the ” Artist Generation ” . The term is sometimes defined as defining the evolution of the’]

今度は，この言語モデルを用いて，映画の批評のテキストが，ネガティブかパシティブかを判別する学習器をつくります．

dls = TextDataLoaders.from_folder(untar_data(URLs.IMDB), valid=’test’)
learn = text_classifier_learner(dls, AWD_LSTM, drop_mult=0.5, metrics=accuracy)
learn.fine_tune(4, 1e-2)

fastaiの使用法と深層学習の詳細については，こちらに記載しています．

弊社では，深層学習についての講義やコンサルティングも行っています．ご興味を持たれた方は，こちらからお気軽にお問い合わせ下さい．

Related Posts