最終編集日時：2026年10月26日
2026年のdbtサミットで開催された「測定できないものは出荷するな：AIアナリティクスエージェントの評価主導型開発」と題する分科会において、Data Culture社のアナリティクスエンジニアリング部門ディレクターであるオペイエミ・ファビイ氏は、AIアナリティクスエージェントがステークホルダーに届く前にその信頼性を測定するための三段階のフレームワークを提示しました。
ファビイは、チップ・ヒュエンの著書『AIエンジニアリング』から「評価主導型開発」という用語を借用し、それを自らのチームがエージェント型アナリティクスの導入に際して今では必ず守る単一のルールへと要約しました：測定できないものは出荷するな。
Data Cultureは、データモデリング、BI移行、プラットフォーム移行など、従来のモダンデータスタックに関する業務に最初の5年間を注力してきた、ブティック型のデータおよびAIコンサルティング会社です。過去1年間で、クライアントのニーズは、AIを活用したワークフローの運用化や、ステークホルダーが自らのデータと対話できる環境の整備へとシフトしました。
その転換により、チームは自律型分析の導入に向けた独自の手法論、評価フレームワーク、および実践ガイドを構築し、以来、臨床業務分析を構築するヘルスケア事業者と、製品・売上分析を構築するEC小売業者の2社の本番環境で活用してきました。
このフレームワークが生まれたきっかけは、Data Cultureが最初のクライアント導入時に答えられなかったある問いでした。すなわち、「このエージェントの精度はどの程度なのか？」という疑問です。チームは試験ユーザー向けにSnowflake MCPサーバーとエージェントを接続しましたが、具体的な数値、さらには概算すら示せませんでした。
数か月後、dbt Labsが発表した2026年版「アナリティクス・エンジニアリングの現状」レポートでも、業界全体で同様の課題が浮き彫りになりました。AIエージェントを導入するチームにとって、ステークホルダーからの信頼は依然として最大の懸念事項であり、回答者の71％が意思決定者に誤ったデータやハルシネーションされたデータが届くことを懸念し、83％が信頼を組織の最優先課題の一つと挙げています。
ファビイ氏は、実際のボトルネックは、分析エージェントの構築から、利害関係者がその出力に依存する前に、その出力が信頼できるものであることを証明することへと移ったと述べた。
Data Cultureが最初の軽量な評価パイプラインを構築し、結果を人手で確認したところ、あるパターンが見つかりました。いくつかの「失敗」は実際のエラーではなく、人間のアナリストなら正しいと判断するような見た目の不一致にすぎませんでした。
あるケースでは、エージェントは月間総売上高の正確な数値を、名前が異なる列のすぐ下に返しました。別のケースでは、正しい3つの製品カテゴリに加え、正規の未分類製品の4行目も返しました。さらに別のケースでは、正しい数値に加えて、追加の補助列が1つ返されました。
素朴な完全一致比較では、いずれの場合も根本的な解答は正しかったにもかかわらず、3つすべてが誤りと判定されました。
それを解決するために、Fabiyiのチームは、評価主導型開発を3つのステップで構築しました：「正しい」とは何かを定義し、結果を比較する方法を定め、層状の評価ロジックを構築することです。
最初のステップは、「ゴールデンクエリ」を書き出すことです。このクエリは、同じチームに所属する2人のアナリストが同じSQLを記述して回答できるほど具体的であり、その後、ドメイン専門家とともに期待される回答を検証し、ベンチマークとして活用します。
第二段階では、クエリ自体ではなくその結果を比較します。なぜなら、異なる2つのSQL文が同一の結果を返すことがあるからです。Data Cultureは、4段階の比較カスケードを構築しました。まず完全一致、次に列名を無視した値のみの比較、さらに余分なコンテキスト列を許容する重複列の比較、そして最後に丸め誤差を許容する近似数値の一致です。
第三段階では、評価を二層に分割します。決定論的層は、迅速かつ無料で再現可能な比較により、ゴールデンクエスチョンの約80％を処理し、残りの20％については大規模言語モデルが審判として機能し、応答の根拠の妥当性、質問への関連性、および包括性を評点付けします。
そのフレームワークが整ったことで、Data Cultureは、各ステップで同じゴールデンクエスチョンと同一のモデルを用いながら、どのような追加コンテキストが実際にエージェントの精度向上に寄与するかを検証するための制御された実験を実施できるようになりました。
Eコマースの導入において、セマンティックなコンテキストが全くない状態では精度は0％でしたが、エージェントを生のソースデータではなくモデル化されたdbtテーブルに向けたところ50％に上昇し、列の説明を追加した後には52.6％、ビジネスルールとデフォルトフィルターを追加した後には78.9％、さらに検証済みのクエリと名前付きメトリクスを追加した後には94.7％まで向上しました。
ヘルスケア分野での導入も同様の推移をたどり、生データ段階では0％から始まり、同じくビジネスルールと検証済みクエリの層が追加された後、Data Culture の社内における90％の本番稼働基準を最終的にクリアしました。
両方の展開において、モデルは同一でした。精度の向上はすべて、追加されたコンテキスト層によるもので、モデリングされたテーブル、列の説明、ビジネスルール、および検証済みクエリが含まれており、それぞれが同一の評価スイートに基づいて測定されました。
ファビイ氏は、業界の他の場所でも報告されている類似のパターンに言及し、アンソロピック社が、厳選されたデータ基盤とオフライン検証工程を構築した結果、エージェントの精度を21％から95％へと向上させたとの公表内容を挙げました。
彼は最後に、dbtプロジェクトにおけるモデル化されたテーブルとセマンティックコンテキストこそが、あらゆるエージェント型アナリティクスの導入において持続可能な資産であり、一方でその下層に位置するエージェントやLLM層は後から入れ替えることができるのだと主張しました。Data Cultureは、評価パイプライン、ゴールデンクエスチョンテンプレート、比較ロジック、および技術的な解説を、github.com/datacult/dbt-agent-trustにてオープンソースとして公開しています。
dbt Summit 2026の基調講演および分科会をすべてオンデマンドで視聴できます。dbt Summit 2026をオンデマンドで視聴する →
dbtの利用を開始する
実際にスケールするデータインフラを構築しているアナリティクスエンジニアの仲間に加わりましょう。
dbt Wizard CLI をインストールする
分析エンジニアリング専用に設計されたエージェントで、すぐに使い始めることができます。どのツールを呼び出すべきか、どのコンテキストを取得すべきかを把握し、あなたに結果を提示する前に自らの作業を確認します。
最新の投稿
Verily Healthが、5人のチームと1つのdbtパッケージで30種類以上の病原体を検出する方法
2026年10月26日
Krampがセルフサービス型のdbt Meshファクトリーを活用することで、アナリストのオンボーディングを数日から数分に短縮した方法
2026年10月26日
顧客からの圧力が、デリバリー・ヒーロー社の慎重なプラットフォームチームをいかに押し切ったか
2026年10月26日
データを形作る最大のコミュニティに参加しよう
dbt Communityは、世界中の数千ものデータリーダーやAI実務者とのベストプラクティス、イノベーション、直接的な協業への玄関口です。質問を投げかけ、知見を共有し、専門家とともにより良いものを構築しましょう。