LangWatchとは？
LangWatchは、AIエンジニアリングチームがエージェント開発のクローズドループを実現できるよう支援します。要件仕様（Specs）からテストケースを自動生成し、テキストや音声によるリアルユーザー行動のシミュレーションを通じて継続的なシミュレーション（Simulations）を実施した後、完全な呼び出しチェーン（Traces）に基づいて多面的な評価（Evals）と反復的最適化を行い、「仕様→シミュレーション→改善」の自動サイクルを形成します。ローカル開発環境、CIパイプライン、本番環境のいずれでも統一して動作させることができ、コードを書き直すことなく任意のエージェントフレームワークに接続可能で、ホワイトボックス／ブラックボックス両方のテスト能力を提供します。
主な機能
自然言語で記述された要件を自動的に実行可能なエージェントテストシナリオへ変換し、エディタ上で直接作成してローカル開発環境や各プルリクエストごとに同期実行できます。
組み込みのLLMジャッジ（Judge）により、ツール呼び出し・スキル実行・MCPサービスを含む完全な呼び出しチェーンを階層ごとに展開し、個々の出力または対話全体に対して評点を付与するとともに、その根拠となる推論も提示します。
用途と対象者
AIプラットフォームチーム、AIエンジニア、AIエージェントの開発とガバナンスを担う技術責任者
- AIプラットフォームチーム向けのLLM呼び出しの可観測性と評価を実現し、自社開発エージェントからエンジニアが利用するプログラミングアシスタントに至るまで、全フローの追跡・テスト・ルーティング・ガバナンスをサポートします。
- 実際のユーザー（テキストおよび音声）を模倣して多回にわたる対話テストを実施し、本番環境におけるエージェントの不具合を事前に発見します
- 要件仕様に基づいたエージェント開発：製品要件を自動でテストシナリオへ変換し、失敗結果をもとにPull Requestによる修正提案を生成します
エージェント実行時の完全な呼び出しチェーン（ツール呼び出し・スキル実行・MCPサーバーとのやり取りを含む）、自然言語で記述されたテストシナリオ、本番環境におけるリアルなトレースデータ
検索可能な全トレースデータ（トークン数・コスト・キャッシュ状態を含む）、多面的な評価スコア（個別出力から対話全体まで）、トピッククラスタリング分析結果、カスタム指標の可視化グラフ、自動生成されたプロンプト改訂PR
よくある質問
LangWatchはセルフホスティングに対応していますか？
クラウドサービス、セルフホスト型およびハイブリッド展開モードをサポートし、データプレーンはユーザーのインフラストラクチャにデプロイ可能で、コントロールプレーンはLangWatchによって提供されます。
画像などのマルチモーダルコンテンツの評価は可能ですか？
画像およびハイブリッドメディアコンテンツの評価をサポートし、統一されたスコアリングインターフェースを提供します。
使い方
- 01
ローカル環境またはCI環境において、自然言語で記述されたテストシナリオを作成します
- 02
複数の同時並行シミュレーションを実行し、エージェントに対するテキストおよび音声による双方向対話をテストします
- 03
LLMをジャッジエージェント（JudgeAgent）として活用し、出力内容を忠実度、戦略の遵守性、降格能力などの観点から評価します
- 04
リグレッション問題を自動でプロンプト修正提案へと変換し、プロンプトレジストリを通じて本番環境へのデプロイを行います
公式サイトと情報源
情報更新日 2026-10-30
