Nova 2 Sonicで突破したAmazon Connect×LLMのレスポンス速度問題と音声対話アーキテクチャ by 森直樹

Amazon ConnectとLLMを組み合わせた音声自動応答システムを構築する中でお客様から必ず挙がる課題が「レスポンス速度」でした。
沈黙が長いと会話が不自然になり、満足度も下がります。従来の「Transcribe→LLM→Polly」の直列処理を最適化してきましたが、平均応答時間は約4.65秒が限界でした。
re:Invent 2025にて日本語STS対応のAmazon Nova 2 Sonicが登場し、ストリーミング経由で組み込むことで平均2.65秒まで短縮し、会話体験が大きく向上しました。
本セッションでは、なぜ従来アーキテクチャでは限界があったのか、Sonicがどこでボトルネックを解消したのかを現時点の構成と今後想定されるConnectとのネイティブ連携を含めた3構成の比較を通じて解説します。
なお、本セッションでは、登壇時点で利用可能な最新の機能・構成を前提にお話しします。