마지막 편집일: 2026년 10월 26일
2026년 dbt 서밋의 ‘측정할 수 없는 것은 배포하지 마라: AI 분석 에이전트를 위한 평가 중심 개발’이라는 제목의 분과 세션에서, 데이터 컬처의 분석 엔지니어링 이사인 오페예미 파비이는 이해관계자에게 도달하기 전에 AI 분석 에이전트가 신뢰할 수 있는지 여부를 측정하는 3단계 프레임워크를 제시했습니다.
Fabiyi는 Chip Huyen의 저서 『AI 엔지니어링』에서 ‘평가 주도 개발’이라는 용어를 차용했으며, 이를 그의 팀이 현재 모든 에이전트 기반 분석 도입 시 준수하는 단일 규칙으로 간추렸다: 측정할 수 없는 것은 배포하지 말라.
Data Culture는 데이터 모델링, BI 마이그레이션, 플랫폼 이전 등 전통적인 현대 데이터 스택 관련 업무에 5년간 주력해 온 소규모 데이터 및 AI 컨설팅 기업입니다. 지난 1년간 고객의 수요는 AI를 활용한 워크플로우의 운영화와 이해관계자들이 데이터와 자연스럽게 소통할 수 있도록 하는 방향으로 변화했습니다.
그 변화로 인해 팀은 에이전틱 애널리틱스를 도입하기 위한 자체 방법론, 평가 프레임워크 및 플레이북을 구축하게 되었으며, 이후 이를 두 개의 프로덕션 고객 사례에 적용했습니다: 임상 운영 애널리틱스를 구축하는 의료 제공업체와 제품 및 판매 애널리틱스를 구축하는 전자상거래 소매업체입니다.
프레임워크의 발단은 데이터 컬처가 첫 고객 배포 과정에서 답을 내리지 못했던 질문, 즉 “이 에이전트의 정확도는 어느 정도인가?”였습니다. 팀은 테스트 사용자 그룹을 위해 에이전트를 스노플레이크 MCP 서버에 연결했지만, 대략적인 수치조차 제시할 수 없었습니다.
몇 달 후, dbt Labs의 2026년 애널리틱스 엔지니어링 현황 보고서는 업계 전반에 걸쳐 동일한 문제를 드러냈다. AI 에이전트를 도입하는 팀들 사이에서 신뢰는 여전히 최우선 과제로 남아 있었으며, 응답자의 71%가 의사결정권자에게 환각되거나 잘못된 데이터가 전달되는 것을 우려했고, 83%는 신뢰를 조직의 최우선 과제로 꼽았다.
파비이는 진정한 병목이 분석 에이전트를 구축하는 단계에서, 이해관계자가 해당 에이전트의 출력을 신뢰하기에 앞서 그 출력이 신뢰할 수 있음을 입증하는 단계로 옮겨갔다고 말했다.
Data Culture가 최초의 경량 평가 파이프라인을 구축하고 결과를 눈으로 검토했을 때, 한 가지 패턴을 발견했습니다: 여러 ‘실패’ 사례는 실제 오류가 아니라, 인간 분석자가 올바르다고 판단했을 미관상의 불일치였습니다.
한 사례에서는 에이전트가 이름이 다른 열 바로 아래에 위치한, 월간 총매출에 대한 정확한 수치를 반환했습니다. 또 다른 사례에서는 올바른 세 가지 제품 카테고리와 더불어 합법적인 미분류 제품의 네 번째 행을 반환했습니다. 세 번째 사례에서는 올바른 수치와 함께 추가적인 지원 열 하나를 반환했습니다.
순수한 정확 일치 비교에서는 세 가지 모두가 잘못된 것으로 표시되었지만, 실제로는 모든 경우에 근본적인 답이 올바르었습니다.
이를 해결하기 위해 Fabiyi의 팀은 세 가지 단계를 중심으로 평가 기반 개발을 구축했습니다: ‘올바름’이란 무엇인지 정의하고, 결과를 비교하는 방법을 규정하며, 계층형 평가 로직을 설계하는 것입니다.
첫 번째 단계는, 같은 팀에 속한 두 분석가가 동일한 질문에 대해 동일한 SQL 쿼리를 작성할 수 있을 만큼 구체적인 ‘황금 질문’을 작성한 뒤, 이를 벤치마크로 활용하기 전에 도메인 전문가와 함께 예상 답변을 검증하는 것입니다.
두 번째 단계에서는 쿼리 자체가 아니라 쿼리의 결과를 비교합니다. 이는 서로 다른 두 개의 SQL 문이 동일한 결과를 반환할 수 있기 때문입니다. Data Culture는 정확히 일치하는 경우, 열 이름을 무시하는 값만 비교하는 경우, 추가적인 컨텍스트 열을 허용하는 중복 열 비교, 그리고 반올림 차이를 용인하는 근사적 숫자 비교라는 네 가지 계층으로 구성된 비교 카스케이드를 구축했습니다.
세 번째 단계는 평가를 두 가지 계층으로 나눕니다. 결정론적 계층은 빠르고 무료이며 재현 가능한 비교를 통해 골든 질문의 약 80퍼센트를 처리하고, 나머지 20퍼센트에 대해서는 대규모 언어 모델이 판단자 역할을 하여 응답의 근거성, 질문과의 관련성, 그리고 포괄성을 평가합니다.
그러한 프레임워크가 구축된 상태에서, 데이터 컬처는 동일한 골든 질문과 모든 단계에서 동일한 모델을 사용하여, 어떤 종류의 추가 맥락이 실제로 에이전트의 정확도를 향상시키는지 확인하기 위한 통제된 실험을 수행할 수 있습니다.
전자상거래 배포 환경에서 정확도는 의미적 문맥이 전혀 없을 때 0%에서, 에이전트가 원시 소스 데이터가 아닌 모델링된 dbt 테이블을 가리키도록 설정한 후에는 50%로 상승했으며, 열 설명을 추가한 뒤에는 52.6%로, 비즈니스 규칙과 기본 필터를 추가한 뒤에는 78.9%로, 그리고 검증된 쿼리와 명명된 메트릭을 추가한 뒤에는 94.7%까지 올라갔습니다.
의료 분야 도입 사례 역시 비슷한 추세를 보였으며, 원시 데이터 기준으로는 0%에서 시작해 동일한 수준의 비즈니스 규칙과 검증된 쿼리가 추가된 이후에는 Data Culture의 내부 생산 환경 기준인 90%를 최종적으로 달성했습니다.
두 배포 모두에서 모델은 동일하게 유지되었습니다. 정확도 향상은 전적으로 추가된 컨텍스트 계층에서 비롯되었으며, 여기에는 모델링된 테이블, 열 설명, 비즈니스 규칙 및 검증된 쿼리가 포함되며, 각 항목은 동일한 평가 스위트를 기준으로 측정되었습니다.
Fabiyi는 업계의 다른 곳에서도 보고된 유사한 패턴을 지적하며, Anthropic이 선별된 데이터 기반과 오프라인 검증 단계를 구축한 뒤 에이전트의 정확도를 21%에서 95%로 끌어올렸다는 사례를 언급했습니다.
그는 마지막으로, dbt 프로젝트의 모델링된 테이블과 시맨틱 컨텍스트가 모든 에이전트 기반 분석 구축에서 지속 가능한 핵심 자산이며, 그 아래에 있는 에이전트 또는 LLM 계층은 나중에 교체할 수 있다고 주장했다. Data Culture는 평가 파이프라인, 골든 퀘스천 템플릿, 비교 로직 및 기술적 안내 문서를 github.com/datacult/dbt-agent-trust에서 오픈소스로 공개했다.
dbt 서밋 2026의 모든 키노트와 분과 세션을 주문형으로 시청하세요. dbt 서밋 2026 주문형 시청 →
dbt 시작하기
실제로 확장 가능한 데이터 인프라를 구축하는 분석 엔지니어들과 함께하세요.
dbt Wizard CLI 설치
분석 엔지니어링에 특화된 에이전트로 시작해 보세요. 이 에이전트는 어떤 도구를 호출해야 하는지, 어떤 컨텍스트를 가져와야 하는지 알고 있으며, 사용자에게 결과를 표시하기 전에 스스로 작업을 검증합니다.
최신 게시물
Verily Health가 5명의 팀과 1개의 dbt 패키지를 활용해 30여 개 이상의 병원체를 대상으로 폐수를 모니터링하는 방법
2026년 10월 26일에
크람프가 셀프서비스형 dbt 메시 팩토리를 통해 애널리스트 온보딩 기간을 며칠에서 몇 분으로 단축한 방법
2026년 10월 26일에
고객의 압력이 딜리버리 히어로에서 dbt를 신중한 플랫폼 팀을 넘어설 수 있도록 이끈 과정
2026년 10월 26일에
데이터를 형성하는 가장 큰 커뮤니티에 참여하세요
dbt 커뮤니티는 전 세계 수천 명의 데이터 리더 및 AI 실무자들과 함께 최고의 실무 사례, 혁신을 경험하고 직접 협업할 수 있는 문입니다. 질문을 던지고, 통찰을 공유하며, 전문가들과 함께 더 나은 결과를 만들어 보세요.