온디바이스 AI

온디바이스 AI는 요청을 클라우드 데이터센터로 보내는 대신, 기기 칩에 내장된 신경망 처리장치(NPU)를 써서 폰, PC, 자동차, 엣지 기기에서 AI 모델을 로컬로 돌리는 인공지능이다. 서버를 왕복하지 않아 지연이 줄고, 기기가 연산해 비용이 낮으며, 데이터가 기기에 남아 프라이버시가 지켜지고, 인터넷 없이도 작동한다.

온디바이스 AI란?

온디바이스 AI는 모델과 연산을 눈앞의 하드웨어에 둔다. 현대 폰·노트북 칩에는 AI 모델을 저전력으로 효율적으로 돌리도록 설계된 블록인 신경망 처리장치(NPU)가 들어 있어, 요약·번역·이미지 편집·비서 응답을 서버 왕복 없이 만들 수 있다. 절충은 크기다. 기기는 데이터센터보다 메모리·전력이 훨씬 적어 온디바이스 AI는 작은 모델을 돌리고, 가장 큰 모델은 여전히 클라우드의 몫이다. 하이브리드 설계는 작업을 나눈다. 애플은 로컬에서 돌리기엔 너무 큰 요청을 위해 프라이빗 클라우드 컴퓨트 경로를 둔다. 역량은 이미 실재한다. 퀄컴 스냅드래곤 X 엘리트 NPU는 45 TOPS로 130억 파라미터가 넘는 모델을 로컬에서 돌릴 수 있고 (퀄컴 스냅드래곤 X 엘리트), 애플은 약 30억 파라미터 모델을 기기에서 돌린다 (애플 머신러닝 리서치).

온디바이스 AI는 테마 투자에서 어떻게 쓰이나?

온디바이스 AI는 데이터센터와는 다른 AI 거래의 한 조각, 즉 소비자 손 안의 칩과 기기 뒤의 수요 테제다. 논거는 지연·비용·프라이버시·오프라인의 네 가지 강점에 기대며, 그 실리콘과 소프트웨어를 공급하는 기업을 선호한다. 이것이 AI 온디바이스 개념의 바탕이다. 애플은 대표 배포자로, 자사 온디바이스 시스템을 25억 대가 넘는 활성 기기에서 돌리며 WWDC 2026에서 소프트웨어를 한 단계 더 밀었다.

“우리는 모든 플랫폼에 차세대 Apple Intelligence를 제공하며, 훨씬 더 지능적이고 박식하며 유능한 Siri인 Siri AI를 선보입니다.”

— 크레이그 페더리기, 애플 소프트웨어 엔지니어링 수석부사장 (애플, 2026년 6월 8일)

투자자에게 온디바이스 AI는 데이터센터 거래보다 베타가 낮은 AI 구축 투자 방식이다. 수요가 하이퍼스케일러 설비투자가 아니라 기기 설치 기반과 그 안의 실리콘을 따르고, 추론이 클라우드에서 엣지로 이동하면 옵션 가치가 있다.

관련 용어·개념

자주 묻는 질문

NPU란 무엇인가요?

NPU(신경망 처리장치)는 기기 칩 안에서 AI 모델을 저전력으로 효율적으로 돌리는 전용 블록입니다. 퀄컴 스냅드래곤 X 엘리트 NPU는 45 TOPS이고, 애플은 자사 칩의 같은 블록을 뉴럴 엔진이라 부릅니다.

온디바이스 AI의 한계는 무엇인가요?

폰이나 노트북은 데이터센터보다 메모리·전력이 훨씬 적어 가장 큰 모델은 여전히 클라우드에서 돕니다. 온디바이스 AI는 작은 모델을 잘 처리하며, 애플 같은 설계는 로컬에서 돌리기엔 너무 큰 요청을 위해 프라이빗 클라우드 컴퓨트 경로를 둡니다.

출처

  1. Snapdragon X Elite (45 TOPS Hexagon NPU) · Qualcomm Incorporated, 2026-06-15
  2. Updates to Apple's On-Device and Server Foundation Language Models · Apple Machine Learning Research, 2025-06-09