Husky - MLX보다 최대 4.5배 빠른 모델 특화 추론 엔진

Husky는 여러 모델을 범용으로 지원하는 대신 4B 모델 'Woof' 하나에 최적화한 애플 실리콘 전용 추론 엔진이다. 이 엔진은 메일 정리, 일정 관리, 회의록 요약 등을 기기 내에서 처리하는 맥용 개인 AI 비서 앱 'Underdog'에 탑재되어 있다. M5 Max에서 테스트한 결과 동일한 가중치와 동일한 출력을 내면서도 16개 작업 전부에서 MLX보다 빠른 속도를 보였다고 한다. 특정 모델에 특화한 최적화 전략이 범용 프레임워크보다 실제 온디바이스 앱 성능에서 우위를 가질 수 있음을 보여주는 사례다. 다만 다른 모델에는 적용되지 않는 구조라 범용성은 제한적이다.