多くの生成AIサービスは、クラウド上で動作する大規模言語モデル(LLM)を利用しています。そのため、金融など機密性が特に重視される分野では、生成AIの導入に大きな障壁があります。
本セッションでは、限られたリソースでも動作するローカルLLMの現在地を知り、ローカルLLMを利用してどのような体験を作ることができるのか、フロントエンドエンジニア目線で探ります。
具体的には以下のトピックについてお話しします
ローカルLLMでどのようなサービスを作ることができるか、考えるきっかけになれば良いなと思っています。
(注: 本セッションはLLMのモデル構造の解説、定量的なモデルの比較は含みません。)