AI 자동 번역
토큰 생성 속도를 높이려면 먼저 추론 성능을 제한하는 요인을 파악하는 것부터 시작합니다. NVIDIA DGX Spark에서 Inclusion AI의 Ling-3.0-flash에 대해 배치 크기 1로 수행한 평가 결과, 프로파일링 분석에 따르면 디코딩 단계가 메모리 병목 현상으로 작용했으며, 모델 가중치를 읽는 과정이 실행 시간의 주요 원인이었습니다. 특히 두 가지 연산이 두드러졌는데, 바로 전문가 혼합(MoE) 계산과 모델 전체에 걸쳐 점수를 산출하는 출력층 투영입니다…
소스