多言語チャットボットの実力を、買う前に自分で確かめる5つの質問

多言語チャットボットの比較検討で、カタログの「対応言語数」を基準にすると失敗します。言語数は、実際に使ったときの精度とも、運用の続けやすさとも関係がないためです。実力を測る最も確実な方法は、デモ画面に5つの質問を投げてみることです。5分あれば終わり、製品間の差がはっきり出ます。本記事ではその手順と、結果をどう読むかを解説します。

「10か国語対応」では何も分からない

対応言語数が実力を表さないのは、言語対応の作り方が製品によって根本的に違うからです。

• 言語ごとに資料を作る方式 — 英語のFAQ、中国語のFAQをそれぞれ用意する。言語数を増やすほど更新の手間が比例して増え、現場では更新が止まって内容が食い違っていく
• 1つの資料から各言語で回答を組み立てる方式 — 日本語の資料を正とし、質問者の言語に合わせて回答を生成する。更新は1か所で済む

カタログ上はどちらも「10か国語対応」と書けます。しかし前者は、半年後に「英語版だけ営業時間が古い」という状態になりがちです。この違いは仕様書を読んでも判別しにくく、触ってみるのが最短です。

質問1: 外国語で、いちばん多い質問を聞く

まず、自社に実際によく届く質問を1つ選び、英語で投げます。「What are your opening hours?」のような、答えが資料にあるはずの質問です。

見るポイントは3つあります。

• 回答が英語で返るか（日本語のまま返る製品があります）
• 内容が具体的か、それとも「詳しくは公式サイトをご覧ください」と誘導するだけか
• 続けて2問目を英語で聞いたとき、言語が維持されるか（日本語に戻る場合、言語の保持が弱い作りです）

そのうえで、回答言語がどう決まるのかを営業担当に必ず聞いてください。画面での言語選択か、ブラウザの言語検出か、質問文の言語判定か。ここが曖昧な製品は、実運用で「なぜか日本語で返る」が起きます。判定方式の違いは日本語のFAQ1つで英語・中国語・韓国語に対応する方法で整理しています。

質問2: 資料に無いことを聞く

製品差が最も大きく出るのがこの質問です。 デモに登録されていないはずのことを、あえて聞きます。

例: 「연박 할인이 있나요?（連泊割引はありますか）」「ペット同伴で入れますか」など、その施設の資料にはなさそうな条件を選びます。

返ってきた挙動	評価
「その情報は持っていないため、担当までお問い合わせください」	◎ 望ましい。根拠のない断定をしない設計
「一般的には〜と言われています」	△ 一般知識で補っている。自社の案内としては誤りになりうる
「はい、ございます」と断定	× 危険。公開後に誤案内が発生する

公開後にトラブルを起こすのは、答えられる質問ではなく答えられない質問への態度です。この観点の詳細はAIチャットの誤回答（ハルシネーション）対策にまとめています。

質問3: 同じ質問を、日本語と外国語で聞き比べる

同じ内容を日本語と英語の両方で聞き、答えが揃うかを見ます。

言語ごとに資料を持つ方式では、ここでズレが出ることがあります。日本語では具体的な数字が返るのに、英語では一般的な案内に留まる、といった形です。これは資料の整備状況が言語間で違うことを意味し、運用が進むほど差が開いていきます。

来場者・顧客から見れば、日本語話者だけが正確な情報を得られる状態です。多言語対応を掲げる意味が薄れるため、ここは必ず確認してください。

質問4: 会話の途中で、話題を変える

1問目に料金を聞き、2問目で突然アクセスを聞きます。さらに3問目で1問目の話題に戻します。

• 自然に追従する → 文章で理解して答える方式
• 「はじめに戻る」等のメニューに戻される／かみ合わなくなる → 選択肢をたどるシナリオ型

シナリオ型が悪いわけではありませんが、想定した分岐から外れた質問には答えられず、分岐の保守が運用負担になります。自社の質問が定型に収まるかどうかで判断してください。

質問5: 答えられなかった質問を、後から確認できるか

これはデモ画面では見えないので、営業担当に聞きます。

「答えられなかった質問の一覧は、管理画面で確認できますか？」

確認できる製品では、公開後の運用が**「未回答を見て資料に足す」**というサイクルになり、回答できる範囲が使うほど広がります。確認できない製品では、公開時が精度のピークになり、資料の陳腐化とともに劣化していきます。

あわせて、資料の更新を誰が行うのか（自社かベンダーか）、その作業に追加費用がかかるかも確認しておくと、運用コストの見積もりが現実的になります。

結果の読み方

5つの質問の結果を、次の観点でまとめます。

確認項目	望ましい状態
外国語での応答	質問した言語で返り、会話中も維持される
資料に無い質問	断定せず、担当への案内を返す
言語間の一貫性	日本語と外国語で答えが揃う
話題の転換	メニューに戻らず追従する
未回答の可視化	管理画面で確認でき、資料に反映できる

5つすべてが満たされる必要はありません。自社の質問が定型に収まるならシナリオ型でも十分です。重要なのは、どこが満たされていないかを導入前に把握しておくことで、それが分かっていれば運用でカバーする計画を立てられます。

自社の資料で試すのが最終確認

標準デモで候補を2〜3社に絞ったら、最後は自社の資料で試すのが確実です。実際のFAQやマニュアルを入れたときにどこまで答えられるかは、標準デモからは分かりません。

私たちが提供するPersora Connectでは、FAQやマニュアルを1つお送りいただければ、御社専用のデモを無料で作成します。お送りいただいた資料はデモ後に完全削除し、そのまま本契約のナレッジとして引き継ぐこともできます。宿泊業の視点での選定基準はホテル・旅館向け多言語チャットボットの選び方と費用相場も参考にしてください。

比較検討で時間を使うより、5つの質問を投げる5分のほうが、はるかに多くのことが分かります。