vLLM 시맨틱 라우터 팀은 Apache-2.0 라이선스 하에 27B 파라미터 규모의 다중 모달 의사결정 모델인 d3-ultra를 출시했습니다. d3-ultra 의사결정 모델은 텍스트를 생성하지 않으며, 입력을 한 번 읽고 모든 질문에 대한 각 답변에 대한 확률을 반환합니다. 개발자들에게는 이는 단 한 번의 오픈 웨이트 호출로 라우팅, 분류, 비주얼 그라운딩 및 영상 검사를 수행할 수 있음을 의미합니다.
요약:
크기: 26.09B 파라미터(밀집형, 0.46B 규모의 비전 인코더 포함); 질문당 컨텍스트 토큰 수는 131,072개입니다.
운용 환경: BF16 가중치를 사용한 1개의 AMD Instinct MI325X에서 테스트되었으며, 아직 공식적인 양자화 버전은 등록되어 있지 않습니다.
성능: 팀의 자체 비공개 테스트에서 6개의 결정 모델 중 가장 높은 SR-Text 점수.
최고: SR-Text 도구 및 자동화에서 97.8(확률 보정 정확도).
최악: SR-Box에서 54.6% (9개 도메인), 동급 제품 d3-turbo보다 5.0점 낮음.
d3-ultra란 무엇인가요?
d3-ultra는 vLLM 시맨틱 라우터의 System One 의사결정 모델로, 입력된 질문에 대해 확률을 기반으로 답변을 제공합니다. 이는 0.6B에서 27B 규모를 아우르는 Decision 3.0 계열의 최신 제품입니다.
귀하는 상태(텍스트 또는 JSON, 추가로 이미지나 동영상 포함)와 일련의 질문을 전송합니다. 각 질문에는 유형이 지정되어 있습니다:
선택: 여러 옵션 중 하나를 선택하세요.
예/아니오: 예의 확률을 반환합니다.
점수: 척도에 따른 평가.
Box: 이미지 또는 비디오의 특정 순간에서 객체를 식별합니다.
트랙: 전체 영상에서 대상을 따라다니기.
이미지는 질문과 선택지 안에 삽입될 수도 있습니다. 퀴즈는 사진을 표시한 뒤, 정답으로 4개의 에칭 그림을 제시할 수 있습니다.
d3-ultra는 어떻게 작동하나요?
핵심 아이디어는 한 번만 상태를 저장하는 것입니다. 모델은 요청당 입력을 한 번 읽고, 그 단일 읽기로부터 모든 질문에 답변합니다.
구성은 64개의 층으로 이루어진 Qwen3.5 아키텍처 기반 모델을 보여줍니다. 이 중 48개는 선형 주의 메커니즘을 갖춘 층이고, 16개는 전면적 주의 메커니즘을 갖춘 층입니다. 해당 카드는 기본 체크포인트의 이름을 명시하지 않았습니다. vLLM의 설명에 따르면, 동일 계열의 d3 모델은 Qwen3.8-27B에서 학습되었다고 합니다.
Box 응답은 항상 신뢰도가 정확히 1개의 박스를 반환합니다. 신뢰도가 0에 가까우면 대상이 이미지에 포함되어 있지 않음을 의미합니다. 토큰 수가 131,072개를 초과하는 질문은 max_length_exceeded 오류로 실패하며, 아무 것도 묵묵히 잘려나갑니다.
d3-ultra는 벤치마크에서 어떤 성능을 보이나요?
연구팀은 자체 테스트 2건에서 d3-ultra를 GLiDE V1.2, d1-ultra, d3-turbo, d3 및 Jev 1.14와 비교합니다.
SR-Text에는 10,411건의 텍스트 요청과 73,495개의 질문이 있습니다. 대부분은 34개의 공개 벤치마크에서 파생된 기술을 새로운 항목으로 재구성한 것입니다. 또한 4,896개의 질문은 SQL 검사 및 티켓 라우팅과 같은 43개의 새로운 작업 유형에서 나왔습니다. 점수는 우연에 따른 정확도를 보정한 값으로, 0은 우연 수준, 100은 완벽한 성능을 의미합니다.
d3-ultra: 87.2
GLiDE V1.2: 85.1
d1-울트라: 83.4
d3-turbo: 83.1
d3: 81.4
제브 1.14: 73.1
d3-ultra는 예술과 인간의 취향을 제외한 모든 분야에서 1위를 차지합니다. 해당 분야에서는 d1-ultra가 89.6점에 비해 90.8점을 기록하며, 오차 범위 내에서 앞서고 있습니다.
SR-Box는 10개 도메인에 걸쳐 4,984개의 이미지와 관련된 5,678개의 박스 질문을 보유하고 있습니다. IoU가 0.5 이상일 때 해당 박스는 정답으로 인정됩니다. d3-ultra는 10개 도메인에서 58.2%, 9개 도메인에서 54.6%의 점수를 기록합니다. d3-turbo는 각각 60.0%와 59.6%를 기록합니다. Jev 1.14는 45.7%와 46.9%를 기록합니다. 팀은 d3-turbo가 자연 이미지에서 더 우수한 성능을 유지하는 반면, d3-ultra는 차트에서 앞선다고 밝혔습니다.
지연 시간: AutoModel을 사용한 AMD Instinct MI325X에서 사진에 관한 질문 1개는 304ms가 소요됩니다. 255개의 질문은 총 2.16초가 걸리며, 추가 질문 하나당 약 7.3ms가 소요됩니다.
d3-ultra는 어떻게 배포하나요?
4개의 경로가 있습니다:
Transformers: AutoModel.from_pretrained("vllm-sr/d3-ultra", trust_remote_code=True)이며, transformers==5.17.0 버전을 사용합니다. 옵션으로 제공되는 flash-linear-attention 패키지는 고속 GPU 커널을 추가합니다.
vLLM 시맨틱 라우터 엔진: vllm-sr serve -e vllm-sr/d3-ultra, 2026년 10월 25일 PR #5449에 추가됨.
무료 API: 카드에는 decision.vllm-sr.ai가 d3-ultra를 제공하며, 무료 키가 포함되어 있다고 적혀 있습니다.
데모: 공식 Hugging Face 스페이스.
d3-ultra vs GLiDE V1.2, d1-ultra, Jev 1.14 및 d3-turbo
추천3-ultrad3-turboGLiDE V1.2d1-ultraJev 1.14개발자vLLM 시맨틱 라우터vLLM 시맨틱 라우터Fastino LabsLiquid AITypeSafeParameters26.09B26.09B26B 공개되지 않음공개되지 않음질문당 컨텍스트131,07232,768 기본값; long_context 사용 시 131,07240,000 기본값32,768 262,144 가중치 / 라이선스오픈, Apache-2.0오픈, Apache-2.0오픈, Fastino 커뮤니티 라이선스호스팅 전용호스팅 전용, 독점적입력텍스트, JSON, 이미지, 비디오텍스트, JSON, 이미지, 비디오텍스트, JSON, 이미지텍스트, 이미지텍스트, 이미지박스 / 트랙박스 + 트랙박스 + 트랙아니아니박스 전용SR-텍스트(vLLM-SR 자체 보고)87.283.185.183.473.1SR-박스, 10개 도메인58.2%60.0%지원되지 않음지원되지 않음45.7%공개 지수 점수제출됨, 아직 탑재되지 않음70.2 Jev DI(자체 추정)71.5 의사결정 지수0.4.165 AA 의사결정 지수57 AA 의사결정 지수가격무료 API, 자체 호스팅무료 API, 자체 호스팅$0.04 / M 입력 $0.042 / M 입력$0.042 / M 입력
주요 요약
d3-ultra는 텍스트를 전혀 생성하지 않는 27B 규모의 Apache-2.0 라이선스 기반 의사결정 모델입니다.
입력을 한 번만 처리합니다: 사진 1장에 대한 255개의 질문을 처리하는 데 2.16초가 걸립니다.
이 제품은 팀의 SR-Text 테스트에서 87.2점을 기록하며, 85.1점을 받은 GLiDE V1.2를 앞섰습니다.
Box 지상 기반에서 d3-turbo를 앞서며: 58.2% 대 60.0%.
모든 벤치마크 수치는 비공개 테스트 세트에서 자체 보고된 것입니다.
모델 카드, GitHub 저장소, Decision 3.0 컬렉션 및 Hugging Face Space를 확인해 보세요. 또한 트위터에서 저희를 팔로우해 주시고, 15만 명이 넘는 ML 서브레딧에 참여하시며 뉴스레터 구독도 잊지 마세요. 잠깐! 텔레그램을 사용하시나요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
GitHub 리포지토리, Hugging Face 페이지, 제품 출시, 웨비나 등을 홍보하기 위해 저희와 파트너십을 맺고 싶으신가요? 저희와 연락해 주세요.
게시물 vLLM 시맨틱 라우터, d3-ultra 출시: 27B 규모의 오픈형 멀티모달 의사결정 모델이 먼저 MarkTechPost에 게재되었습니다.