AIの品質は大丈夫?AI/機械学習の品質管理

~「機械学習品質マネジメントガイドライン」を解説~

現下のビジネスにおいて、様々なシーンでAI/機械学習が使われています。安全や信用にかかわる機微な予測や判断が普及するにつれ、精度に関わるAIの品質は大変重要となってきています。今回は、2020年6月に公開されたAIの精度を保証する「機械学習品質マネジメントガイドライン」を解説します。

AIにも品質意識が必要なワケ

AI(人工知能)は、ビジネスの現場での活用がますます広がりを見せています。在庫最適化、売上予測、不良品検知、疾病予測や与信審査など様々な業界・分野での適用が進んできました。一方で気を付けなくてはならないのは、AIは万能ではないということです。様々なバイアスや不完全なデータにより、AIシステムの質に課題が出てくることがあるからです。AIが出した答えを鵜呑みにするのではなく、本当にそれが正しいのか、安全なのかが問われています。AIの価値を活かすためにも、従来のITシステムにおける厳格な品質管理と同様、高度なデータ活用であるAIにも品質の保証が重要なのです。

AIシステムの精度を保証するための取り組み

AIシステムにも品質マネジメントが必要であり、現在その対応を迫られています。しかしながら、システム全般を網羅した精度保証に関しては、確立されたと言えるものは未だ見当たりません。ただAIの品質管理についての取り組みは前進しています。その取り組みのひとつとして、汎用的な品質管理ガイドラインである「機械学習品質マネジメントガイドライン」が2020年6月30日に公開されました。

AIの品質管理の難しさ

AIは実在するデータを元に構築するため、周囲の環境が急激に変化した場合、臨機応変に対応することが難しくなります。訓練データに基づいて作成した学習モデルは、一般的なソフトウェアと違い、エンジニアの手が入りづらいところがさらに難しい点です。トラブルが起きないように変化に随時対応し、モデルの状態を把握できる仕組みが必要となります。AIの品質管理については、開発側と利用側でAIの品質要件を確認することがとても重要です。

「機械学習品質マネジメントガイドライン」とは


今回発表された「機械学習品質マネジメントガイドライン(第1版)」は、国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)から研究を受託した国立研究開発法人産業技術総合研究所(産総研・AIST)が企業・大学などの外部有識者とともにまとめたガイドラインです。機械学習利用システムの設計 開発から運用までシステムライフサイクル全体にわたる品質活動プロセスを体系的にまとめています。品質に関する目標設定や計画、チェック、品質保証、管理を実施する指針となるでしょう。

ガイドラインの概要

本ガイドラインでは、機械学習を利用したAIシステムの「品質」について、以下の3つに分類しています。機械学習要素の「 内部品質」を向上させることで、「外部品質」のレベルが必要十分となり、最終的な製品の「利用時品質」が実現されるとしました。

 1) 機械学習要素が持つ「内部品質」
 2) AIシステム中で機械学習要素に要求される「外部品質」
 3) AIシステム利用時に必要な「利用時品質」

1)の内部品質は、「要求分析の十分性」「データ設計の十分性」「データセットの被覆性」「データセットの均一性」「機械学習モデルの正確性」「機械学習モデルの安定性」「プログラムの健全性」「運用時品質の維持性」の8項目で構成されています。開発作業において、8項目を確認し、外部品質が確かなものであるか判断する構成となっています。

2)の外部品質では、「リスク回避性」、「AIパフォーマンス」、「公平性」が外部品質軸として新たに設定されました。また要求の強さに応じてレベル分けもされています。
例えば「AIパフォーマンス」では、製品・サービスの正答率・適合率・再現率などの性能指標を設定しているか否か、性能指標の充足が強く求められるかでレベルを3段階に分けています。PoC(Proof of Concept:概念実証)などが目的の場合はAIPL0(低)となっています。

品質ガイドラインの今後

開発側と利用側で品質についてのコミュニケーションが適切に行われ合意できるよう、客観的な品質基準となるAI/機械学習のガイドラインは画期的です。今後の動きとして、今回のガイドライン第1版でカバーしきれなかった部分について、本年度中に第2版の公開が計画されているようです。また国際標準化に向けた活動も開始されています。品質に関する不透明性が取り除かれ、AIシステムがさらにビジネス活用されることが期待されます。

まとめ

AI/機械学習は導入するにあたり、品質・精度の保証が大変重要です。ただAIの精度・品質を管理することは大変難しい面もあります。開発者と利用者がお互いに共通の言語として活用できる汎用的なガイドライン「機械学習品質マネジメントガイドライン」により、AIの品質不透明性が除かれ、今後ますますビジネスでのAI活用が前進することでしょう。

今回はAI/機械学習における品質管理に特化したガイドラインをご紹介しました。
その他AIのガイドラインとして、2020年8月版のAIプロダクト品質保証ガイドラインも参考にしてみてください。

アクティブコアの提供するAIプラットフォーム「ピタゴラス AI」では、AIモデルの構築からモデルの再学習まで管理画面上で自動実施できます。モデルの精度維持・向上を現場で簡単に行えます。
AI活用でお困りのことがございましたら、お気軽にご相談くださいませ。

※参考:
機械学習品質マネジメントガイドラインを公開―AIシステムに品質マネジメントを導入―
https://www.nedo.go.jp/news/press/AA5_101325.html