Difyチャットボットの品質をシナリオテストで計測する

やったこと チャットボットを作っていると、"シングルターン（1問1答）では問題なく動いているように見えるけど、マルチターン（3〜4ターンの会話）になると品質が大きく下がる" ということによく遭遇します。そこで、マルチターンのシナリオと期待する回答を作って、DifyのAPIに一気に投げて自動テストできるツールを作った、という話です。 既存ツールの評価機能と、残るギャップ Difyには複数のオブザーバビリティ・評価ツールが公式に統合されています。これらのツールはトレーシングだけでなく、評価機能も持っています。 ツール 評価機能 LangSmith Datasets + ...