MLA100 PCIe 환경에서 NPU-CPU 간 데이터 스위칭(연동) 지원 여부 문의

General Q&A
1

Product & Environment

  • Product: ARISE
  • OS: Ubuntu 24.04.3 LTS

Description

안녕하세요, SKKU challenge에서 모빌린트 MLA100 PCIe 플랫폼을 활용하여 모델 배포를 시도 중인 학부생입니다. 현재 NPU 컴파일이 불가능한 연산이 일부 포함되어 있어, 해당 구간만 Host CPU에서 처리하는 방식을 검토 중입니다.
NPU 실행 → (NPU 미지원 연산) CPU 처리 → 다시 NPU 실행과 같이, NPU와 CPU를 왔다갔다(스위칭/오프로딩)하며 파이프라인을 이어가는 방식이 SDK나 런타임 차원에서 공식 지원되는지, 방법이나 예제를 추가적으로 받을 수 있는지 문의드립니다. 위와 같이 CPU와 NPU 간 데이터를 주고받을 때 과도한 병목이나 제한 사항이 없는지도 함께 확인 부탁드립니다. 감사합니다.

Logs & Attachments

2

안녕하세요, 모빌린트 박진만입니다.

NPU->CPU->NPU와 같이 스위칭하는 파이프라인을 사용하고자 하시는 경우 cpu_offloading 기능을 사용하시거나, 미지원 연산 부분을 별도로 편집하여 CPU 부분 추론 코드와 NPU 부분 추론 코드를 별도로 작성하고 구동하는 방법이 있습니다. 저희 매뉴얼 사이트 docs.mobilint.com을 통해 관련 정보 확인하실 수 있습니다.
모델 크기나 구조에 따라 CPU-NPU 데이터 스위칭 오버헤드가 있을 수 있으며, 해당 부분을 최적화할 수 있는 기능은 현재 개발 중에 있습니다.

혹시 추가로 도움이 필요하신 부분이 있으시거나, 향후 관련 이슈가 생기는 경우 모델 정보와 함께 문의 남겨주시면 해결해드릴 수 있도록 하겠습니다.

감사합니다.

2 Likes