AIの導入を成功させるには: Step 2 モデル開発

AI2022-07-31

AIの導入を成功させるには: Step 2 モデル開発の表紙画像

見落とされがちですが、AIモデル開発の最初のステップは、求めている目的を満たすモデルとデータの組み合わせを決めることです。そのためには、AIモデルが何を出力するのか、どのような目的に最適化するのかを明確にする必要があります。

モデルのインプットとアウトプットを念頭に置くことで、モデルのトレーニングを成功させるために必要なデータセットの見通しが立ちます。最初のステップは、現在どのくらいのデータがあるのか、さらにどのくらいのデータを収集する必要があるのかを把握することです。データを追加で収集する必要がある場合、さまざまなトレードオフを考慮する必要があります。すなわち、追加のデータポイントを取得するためにどれだけのコストがかかるか、ラベル付けにどれだけのコストがかかるかということです(人間のラベラーに必要な専門知識のレベルに応じて変化します)。

これらの変数に応じて、初期トレーニングデータセットのサイズを見積もることができ、これは、より多くまたはより少ないデータを必要とするさまざまなトレーニング技術の開発コストと比較できます。例えば、データ増強、正規化、転移学習は、より小さなデータセットでの学習を可能にする技術であり、自己教師付き学習などの技術は、ラベルのないデータでの学習を可能にします。しかし、これらの技術はすべて、モデルの開発に必要な時間を増加させます。

データの状況を検討し、それを扱うためのモデリング手法を決定した後、エンジニアはモデルアーキテクチャの実装に着手します。つまり、データを取り込み、予測や判断などの出力を行うことができるアルゴリズムのことです。アルゴリズムを学習させるには、コンピューター上で反復学習プロセスを実行します。アルゴリズムに学習データを与え、その予測値と目的の出力値を比較し、エラー信号を算出します。この誤差信号から、誤差が最小になるまでモデルのパラメータを更新していきます。

モデルの学習が完了したら、モデルがデータを記憶していないか、役に立つ方法で一般化しているかを確認することが非常に重要です。そのためには、分析ステップが必要で、モデルが初めて見るデータのテストセットでの結果を計算します。また、副産物に対するモデルの頑健性も計算しなければなりません。そして、パラメータを調整したり、別のアーキテクチャで再度トレーニングしたりして、モデルを最適化する必要があります。

このようなプロセスを繰り返しているうちに、事前に想定していたことが間違っていたことに気づくことがあります。そのときは、学習データかアルゴリズムのどちらかを変更して、再度学習する必要があると判断します。つまり、人間の段階では、もうひとつ上のレベルの学習ループがあるということです。これは、テストを作ってコードを書き、その書いたコードが正しいかどうかをすぐに確認できる従来のソフトウェア開発プロセスとは大きく異なります。

これは、この種のモデルが以前に作られたことがあり、他のチームから学んだことを取り入れることができるのか、それともゼロから開発するのかによって異なります。場合によっては、モデルと環境とのインターフェースが人間によって制御されていたり、何らかのフィードバックループを含んでいたりする場合は、精度を多少犠牲にしても、開発期間を短縮することができるかもしれません。

計算機の観点からすると、この反復プロセスには⻑い時間がかかり、異なるアーキテクチャ、ハイパーパラメータなどでモデルを何度もトレーニングすると、非常に大きな計算能力が必要になります。さらに、機械学習エンジニアは、実験の結果を待ってから学習ループを進める必要がある場合が多いです。そのため、開発プロセスの予算を組む際には、研究開発にかかる⻑い時間と、モデルを何度もトレーニングするための計算コストの両方を考慮する必要があります。

Share

Author

Tiago Ramalhoさんの顔写真

共同創設者兼CEO

Tiago Ramalho

ルートヴィヒ・マクシミリアン大学ミュンヘンにて、理論/数理物理学 修士号、生物物理学 博士号を取得。卒業後、Google DeepMindに入社。シニアリサーチエンジニアとして、強化学習、予測モデル、自己管理型学習など、最先端プロジェクトに従事しNatureなどの国際雑誌に多数の論文を発表。その後、多国籍AIスタートアップ、コージェントラボにリードリサーチサイエンティストとして入社し、来日。情報検索&質問回答、デザイン生成モデル、OCR、NLP等、様々なプロジェクトを推進。2020年8月、株式会社Recursiveを共同創業し代表取締役に就任。

PDFのスクリーンショット5枚

Document download

当社の技術概要、ベンチマーク、事例紹介、業界別のユースケース例などをまとめた1つの資料で、当社のサービスを迅速に把握できます。