LangSmithによるLLMアプリケーションのLLMOps構築~トレース・データセット作成・評価~

テーマ

その他テーマ

日付

2024年10月02日

時間

19:00~20:00

場所

オンライン(Zoom)

概要

PharmaXは、健康を一生涯サポートするかかりつけオンライン薬局『YOJO』を運営しています。
YOJOでは、LLMのマルチエージェント・アプリケーションを構築し、メッセージの薬剤師への提案や一部自動送信を行っています。LLMを用いることで、柔軟でパーソナライズされた対応が迅速に可能になり、ユーザーのメッセージ返信率や初回購入率・継続率が劇的に向上しました。また、安全性担保のため、LLMの出力のリアルタイム評価と、基準値を下回った場合の再生成機能なども導入しています。
このマルチエージェント構成はLangChain・LangGraphで構築されています。
実験管理や評価にはLagnSmithをフル活用しています。これにより、LLMの精度改善のための高速なプロンプトチューニングサイクルを実現しました。さらに、出力をアノテーションしたデータを蓄積し、fine-tuningを行うことで、さらなる精度向上とコスト削減を両立しています。

今回は、LangSmithを使って、どのように上記のようなLLM Opsを構築してるか中心にお話します。

主催者

PharmaX株式会社

受講料

無料

詳細・
お申し込み

https://yojo.connpass.com/event/328618/