麻雀点数計算問題生成タスクから学ぶSingle Agentの限界とAgentic Workflowの底力 by 中村弘武

概要

LLMが苦手な麻雀点数計算問題生成タスクの精度をAgentic Workflowの構築で30%から90%に上げた話をします。

麻雀点数計算問題生成は計算問題かつ複雑なルールの包括的理解が必要という、LLMが最も苦手とするタスクの一つです。そこで、そのようなタスクをどのようにAgentに解かせるべきかを複数の実験から明らかにしていきます。さらに、このようなタスクを抽象的に捉え、応用先を考えることで皆さんの実際の業務への応用も提案します。

Agentic Workflowを構築するにあたり、不可欠な知識もお伝えします。

• コンテキストエンジニアリング
• 自己検証ループの取り扱い
• Agent分割の考え方

何が学べるか

• 「無数の選択肢の組み合わせを考えるタスクだが、正解は検証できる」という特性を持つタスクに立ち向かう際の知見。
• プロンプトエンジニアリング単体での限界とその性質。
• Agentic Workflow構築に必要な知識。
• 実際のAgentの構築方法。
• Langfuseを使った評価基盤構築

麻雀点数計算問題生成の精度追求の経験があったからこそ得られた「知らなかった」を皆様にも共有し、みなさんが趣味のためにAI Agentを作るワクワクを届けます。