AI接客エージェントは、導入しただけでは品質を保てません。 本当に必要なのは、売上だけでは見えない失敗を拾い、継続的に評価・改善する仕組みです。
- AIエージェントは最終回答だけでなく、途中の行動まで評価する必要がある
- 新しい能力を測る評価と、既存機能の劣化を防ぐ評価は分けて設計する
- Evalsは「良い接客とは何か」をブランド自身が言語化する作業になる
本記事では、AIエージェント評価（Evals）の考え方と、 EC・ブランド運営の現場で実装するための具体的な手順を整理します。
先週、あるアパレルブランドの会議室で、担当者がノートPCの画面をこちらに向けた。サイト右下に住みついたAI接客エージェントの、直近一週間の会話ログである。二百件ほどを眺めていて、途中で手が止まった。ギフト用途で相談してきた顧客に、AIが淡々と「在庫がございません」と返し、代替提案も、ラッピングの話も、次に取るべき行動も、何ひとつ差し出さないまま会話が終わっていた。
「これ、CVRの数字上は何も起きてないんですよ」と担当者は言った。そのとおりだ。買わなかった人は指標の上では最初からいなかったことになる。売れなかった接客は、静かに消える。
導入した瞬間がゴールになってしまう現象を、私は何度も見てきた。自分でも身に覚えがある。ツールを入れた達成感で、その後の運用設計が薄くなる。ただ、AI接客に関してはそれが少し洒落にならない。人間のスタッフなら、ひどい応対をすれば店長が気づく。AIは、誰も見ていなければ、同じ失敗を毎日千回繰り返す。
導入率は伸びた。運用能力は伸びていない
帝国データバンクの調査では、生成AIを業務で活用している企業が全体の三割台に達した。別の管理職一千八名を対象にした調査では、全社的に導入している企業が32.4%、業務での利用頻度が「毎日」という回答が45.6%にのぼる。数字だけ見れば、日本企業はもう十分にAIを使っている。
ところが同じ調査群を横に並べると、別の顔が出てくる。生成AIを活用している企業の67.1%が、いまだ「人が起動して使うAI」の段階にとどまる。AIの利用状況を横断的に追跡できている企業は13.0%。社内データが十分に整備されていない企業は50.7%。
つまり、使ってはいるが、測れていない。走らせてはいるが、走り方を見ていない。この落差が、今年の実務における最大のリスクだと思っている。
AI接客の効果自体は、すでに数字で出ている。チャネルトーク活用でCVRが38%向上した事例、AIコンシェルジュでCVRが30%超改善した事例、二週間で音声接客三千件という運用実績。EC向けチャットボット市場は2024年から2030年にかけて年平均23.8%で成長するという予測もある。効くことは、もう疑いようがない。
問題は、効いた理由と効かなかった理由を、誰も説明できないまま台数だけが増えていることだ。
「答え合わせ」から「行動監査」へ
ここで、AI開発の現場で起きている変化が効いてくる。評価の考え方が、この一年で明確に変わった。
従来のAI評価は、正答率の測定だった。質問を投げ、返ってきた答えが正しいかを採点する。単発の質問応答ならそれで足りる。だがエージェントは違う。エージェントは在庫を検索し、クーポンを判定し、配送日を計算し、必要なら人間にエスカレーションする。途中で何をしたかが、結果と同じくらい重要になる。
そこで評価の焦点が、最終回答から途中の行動品質へ移った。業務成功率、誤実行、安全性、再現性、コスト。これらを含めて初めて「使えるエージェント」と言える。gihyoの連載でも、計測から分析、改善、再計測へ回すループとして整理されている。要するに、答え合わせではなく行動監査である。
もうひとつ、Anthropicが示している整理が実務では効く。評価を二種類に分けるという考え方だ。
ひとつは capability eval。これは「このエージェントは新しくXができるか」を測る。点数は低いところから始まり、改善とともに上がっていく。フロンティアを押し広げる指標である。
もうひとつは regression eval。「前にできていたことが、今もできているか」を測る。こちらは100%近くを維持し続けなければ意味がない。モデルを差し替えた、プロンプトを直した、新しいツールを繋いだ。そのたびに、以前は正しく返せていた「ギフト用途の在庫切れ相談」が壊れていないかを確認する。
この二つを混ぜて一つの正答率にまとめてしまうと、何が起きるか。改善で稼いだ点と、劣化で失った点が相殺されて、平均点は動かない。数字は横ばい、顧客体験は静かに壊れている。冒頭の会話ログは、まさにそれだった。
Shopifyの直近二回のEditionを見ても、この方向性は明らかだ。Winter '26 と Spring '26 でそれぞれ150を超えるアップデートが投下され、Sidekickは管理画面のあらゆる画面に入り込み、Sidekick App Extensions で外部アプリのデータと機能まで扱えるようになった。Agentic Storefronts は、ChatGPTやPerplexity、Copilotの中に自社ブランドがどう現れるかを制御する仕組みである。プラットフォーム側は、エージェントが動く前提で作り替えられている。動かす側だけが、まだ採点表を持っていない。
現場に持ち込むための、五つの手順
抽象論で終わらせたくないので、実際に私が現場で組む順番を書く。特別なMLの知識は要らない。要るのは、ログを読む根気と、ブランドとして何を良しとするかの合意である。
第一に、失敗の在庫を作る。新しい評価基準を発明する前に、すでに起きた失敗を集める。カスタマーサポートに上がったクレーム、担当者が「これはひどい」と感じた会話ログ、レビューに書かれた不満。ここが出発点になる。プロダクショントレースを掘れ、というのはAI開発の定石だが、EC事業者にとっては要は問い合わせ履歴の棚卸しだ。二十件も集まれば十分に始められる。
第二に、その失敗を「守るべき正解」に翻訳する。ギフト用途で在庫切れなら、代替提案とラッピング可否を必ず含める。返品条件を聞かれたら、憶測で答えず該当ページへ導く。トーンとして敬体を崩さない。こうした一件一件を、入力と期待される振る舞いのセットにする。これが自社の regression eval になる。三十件から五十件あれば、実務としては十分に機能する。
第三に、採点の担当を決める。全部を人が読むのは続かない。だからLLMに一次採点をさせる。ただし丸投げはしない。最初の五十件は人間とAIの両方で採点し、判断が食い違ったところだけを議論する。この突き合わせをやらずに導入したAI採点は、だいたい甘い。褒め上手なAIほど、現場では役に立たない。
第四に、リリースの前に必ず通す関門にする。プロンプトを変えた、モデルを上げた、FAQを追加した。そのたびに評価セットを回し、regression側が落ちていたら出さない。ここを「余裕があるときにやる作業」に置いた瞬間、この仕組みは死ぬ。デプロイの手順書に組み込むのが唯一の生存戦略だと思っている。
第五に、月に一度、評価セット自体を見直す。商品構成が変わり、季節が変わり、顧客の聞き方も変わる。半年前の五十件は、半年後には現実を映していない。評価するものを評価する時間を、カレンダーに置く。
失敗しやすいポイント
ひとつは、評価指標を満足度アンケートだけに寄せること。回答するのは怒っていない顧客ばかりなので、静かな失敗が見えない。もうひとつは、正答率という単一指標に集約すること。改善と劣化が相殺される。そして三つめ、これが一番多いのだが、評価の担当者を置かないこと。誰の業務でもない仕事は、必ず消える。
見るべき数字
CVRの前に置くものがある。エスカレーション率、会話の完了率、同じ質問の再訪率、そして regression eval の合格率。この四つが安定してから、初めて売上系の指標を語るべきだと考えている。順番を逆にすると、たまたま良かった月を実力と勘違いする。
半年後にも、この話は残る
エージェントの名前は変わる。今日のSidekickも、来年には別の何かに置き換わっているかもしれない。プロトコルの規格争いも、しばらくは決着しないだろう。
それでも、この論点は残る。ブランドの代わりに何かが顧客と喋る以上、その喋り方の品質を誰かが定義し、測り、守り続けなければならない。これは技術の話ではなく、ブランド運営の話だ。店舗を出したなら接客マニュアルを作り、覆面調査を入れ、店長が朝礼で共有する。私たちはそれをずっとやってきた。AIに対して同じことをしていないのは、単に習慣がないからにすぎない。
評価設計とは、要するにブランドが「良い接客とは何か」を言語化する作業である。そしてこれは、AIが来る前からブランドの中核にあった問いだ。答えを持っている会社は、ツールが変わっても強い。持っていない会社は、最新のエージェントを入れても、速く均質に、間違え続けるだけになる。
冒頭の会議室に戻ると、担当者はしばらく画面を見つめてから、こう言った。「これ、うちの店頭スタッフなら絶対しない返しなんですよね」。
その一言が、実は評価基準そのものだったのだと思う。彼女の中には、良い接客の輪郭が確かにあった。あとは、それを五十行のテストケースに書き写すだけだった。
書き写す作業は、地味だ。地味だが、そこにしかブランドは宿らない。
参考
- 帝国データバンク「生成AIに関する企業の動向調査（2026年3月）」
https://www.tdb.co.jp/report/economic/20260514-genai/ - CommercePick「2026年最新 企業の生成AI利用実態調査」
https://www.commercepick.com/archives/88071 - Arize AI「AI agent evaluation: Tips from Anthropic」
https://arize.com/blog/ai-agent-evaluation-how-to-build-evals-you-can-trust/ - gihyo.jp「第4回 Evalでエージェントの品質を改善しよう」
https://gihyo.jp/article/2026/06/AI-agent-development04 - arpable「AIエージェント評価とは？」
https://arpable.com/artificial-intelligence/agent/ai-agent-evaluation/ - Digital Applied「Shopify Spring '26: Sidekick, Autopilot and Store AI」
https://www.digitalapplied.com/blog/shopify-spring-2026-edition-sidekick-campaign-autopilot-ai - ワイマガBiz「AI接客でECサイトのCVRを改善」
https://012cloud.jp/article/ec-ai-customer-service - ワイマガBiz「チャットボットでCVRが改善しない5つの理由」
https://012cloud.jp/article/chatbot-to-ai-agent
転載元
※XAが運営するNoteメディアの記事を転載しています。
“つくる火”を分かち合うメディア「Created To Create」
