「AIを組み込んだシステムを作ったけれど、毎回回答が変わる中でどうやって品質を保証すればいいのだろうか…」。AI技術の導入が進む開発現場で、多くのエンジニアやQA（品質保証）担当者が直面している新たな壁です。
毎週水曜日に開催されている社内勉強会、第15回目となる今回のテーマは「AI搭載システムの品質は誰が守るのか～評価の難しさとQAの守備範囲」でした。 今回はAIQユニットの若林さんが登壇し、AIシステム特有の品質評価の難しさと、これからのQAに求められる理想の姿について語られました。 従来のテスト手法だけでは太刀打ちできないAI時代の品質保証に対し、現場はどう向き合っていくべきか、そのエッセンスをお届けします。
1. 従来のシステムとAI搭載システムは何が違うのか？
従来のシステム開発では、「同じ入力をすれば必ず同じ出力が返ってくる」のが当たり前でした。仕様書通りに動くかを一つひとつ確かめることで、品質を担保することができました。
しかし、AI搭載システムでは状況が一変します。同じ質問をしても、毎回少しずつ異なる答えが返ってくることがあるのです。さらに、品質が変わるタイミングも、従来は「プログラムを変更した時」でしたが、AIの場合は「モデルやプロンプトを変更した時」「参照データを更新した時」、さらには「運用中」にも品質が変化する可能性があります。
つまり、「仕様通りに動くかを確かめる従来のテスト手法だけでは、AIの品質は説明しきれない」というのが最大の悩みの種となっています。
2. 現場を悩ませる「AI評価の5つの難しさ」
セッションでは、AIの評価を難しくしている具体的な課題として以下の5つが挙げられました。
- ・期待結果が決めにくい： 正確な手順を箇条書きにするのが正解か、注意事項まで含めた文章が正解かなど、どこまでを許容するか人によって判断が分かれます。
- ・見るべき観点が多い： 正確さに加え、もっともらしい嘘（ハルシネーション）、安全性、公平性、悪意のある入力への耐性、応答速度やコストなど、確認すべき点が多岐にわたります。
- ・合否が「確率」で決まってしまう： 20回中18回正解（正答率90%）した場合、社内向けなら合格でも、顧客の安全やお金に関わる用途では不合格になるなど、用途とリスクによって基準が変わります。
- ・変更で品質が崩れやすい： プロンプトを一部修正しただけで、別の質問への回答が悪化する「もぐらたたき」状態になりやすい特徴があります。
- ・開発も評価も手間が大きい： 一つの質問を何度も試す必要があり、最終的には人が読んで正しいか判定しなければならないため、膨大な手間がかかります。
3. QAの新たな守備範囲：「テストする人」から「基準を一緒に設計する人」へ
このような難しさがある中で、品質保証（QA）はどこまでを担うべきでしょうか。 セッションで強調されたのは、「QAか開発のどちらか一方だけで品質基準を決めてはいけない」ということです。QAだけで決めると現実離れした厳しい基準になりがちですし、開発だけで決めると基準が甘くなってしまう可能性があります。 だからこそ、「合格基準の決定」や「安全性・セキュリティの確認」、「AIによる自動採点の仕組みづくり」といった領域は、QAと開発が一緒に決める必要があると語られました。
さらに、QAが目指すべき理想の姿として「上流と下流への守備範囲の拡大」が提示されました。
- ・上流（企画・要件定義）へ広げる： 評価を始める前の段階で、関係者と一緒に「何をもって良しとするか（合格基準）」を合意しておく。
- ・下流（リリース後・運用）へ広げる： リリース後も回答の品質を見守り、利用者の声や問題事例を次のテストケースに組み込み、継続的に再評価を行う。
QAは「作られたものをテストする人」から、「品質の基準を一緒に設計する人」へと進化していく必要があるのです。
4. 質疑応答と、明日からできる3つのステップ
勉強会の最後には、「明日からできる一歩」として以下の3つが提案されました。
- ・「良い回答とは何か」を関係者と言語化してみる。
- ・1回の確認だけで合否を決めない。
- ・小さくても良いので評価用の質問集を作り、変更のたびにテストを流す。
また、質疑応答では「AIに採点させる方法は使えないのか？」という質問に対し、「使えるが、採点するAIも間違えることがあるため、その評価が信頼できるか確かめてから使うのが基本」という実践的な回答もありました。参加者からも「AIに任せる部分と人間が確認する部分の線引きが重要になりそう」といった感想が寄せられ、活発な意見交換の場となりました。
編集後記
毎週水曜日に開催されている社内勉強会。今回は第15回目として、AIシステム開発という最先端の領域におけるQAのリアルな課題と、その解決に向けたアプローチが共有されました。 技術が進化しても、「品質を守るためにどうあるべきか」を考え抜き、職種の垣根を越えて協力し合う姿勢は、まさに当社の開発カルチャーを象徴していると感じました。
当社では現在、最新技術と向き合いながら、より良いプロダクトと組織を共に創り上げていく仲間を募集しています。このような技術交流や、未知の課題解決プロセスにワクワクした方は、ぜひ採用ページもご覧ください！