「プロンプト一発ドカン！」は諦めた。大規模SaaSの複雑な設定提案をLLMで実用化するための、構造化出力と泥臭い評価基盤 by yamamu

「顧客の業務フローをヒアリングし、その業務に必要なデータベース構築を自動化する」

夢のようなLLMアプリケーション開発に挑んだ私たちが直面したのは、「LLMは所詮トランスフォーマーであり、論理計算機ではない」という現実でした。
本トークでは、その限界を踏まえたうえで実用的にLLMを使いこなすための設計戦略についてお話します。

私が開発に関わる製品は、ユーザーがDBにテーブルやフィールドを自由に作成できる特殊なPHP製の大規模SaaSであり、構築される定義には厳密な整合性が求められます。
顧客へのヒアリング（自然言語・曖昧）から、この柔軟かつ厳密なDB構成（構造化データ）を導き出すため、私たちは「プロンプト一発ドカン！」で解決することを諦めました。

本トークでは、PHP製SaaSにPython製のLLM機能を統合したアーキテクチャの全貌と、実用レベルの精度を出すために繰り返した「泥臭い試行錯誤」を共有します。

• PHP × Python連携：OpenAIライブラリのないPHP環境から、Python側で構造化出力（Structured Output）させ、PHPでDB構築するための入力データを生成する構成
• 「感覚」で修正しない：プロンプトのTry&Errorを高速化し、デグレを確実に検知するために自作した「評価ツール」の重要性
• LLMに任せない勇気：「形式的な処理」は徹底してロジックに戻し、LLMには得意なことだけをさせる責務の分離

「チャットボットを作ってみた」の先にある、複雑な要件を伴うシステム開発におけるLLM活用の勘所をお話しします。