AI 온디바이스

AI 온디바이스는 클라우드가 아니라 폰, PC, 자동차, 엣지 하드웨어에서 칩에 내장된 신경망 처리장치(NPU)로 직접 돌리는 인공지능이다. 서버를 왕복하지 않아 지연이 줄고, 기기가 연산해 비용이 낮으며, 데이터가 기기에 남아 프라이버시가 지켜지고 오프라인에서도 쓸 수 있다. 이 개념은 퀄컴, 애플, Arm, 삼성전자, 마이크론을 아우른다.

분류Thematic / Semiconductors — edge & on-device AI
대표 기업5
최종 업데이트2026-06-15
핵심 요약
  • AI 온디바이스는 클라우드가 아니라 폰·PC·자동차·엣지 하드웨어에서 칩에 내장된 신경망 처리장치(NPU)로 로컬에서 돌리는 AI다.
  • 온디바이스의 논거는 지연·비용·프라이버시·오프라인 사용이다. 기기에서 답하는 질의는 데이터센터를 왕복할 필요가 없고 데이터를 내보내지 않는다.
  • 퀄컴이 중심 상용 공급사다. 스냅드래곤 X 엘리트 NPU는 45 TOPS를 내고 130억 파라미터가 넘는 모델을 로컬에서 돌릴 수 있다.
  • 애플은 대표 배포자다. 애플 인텔리전스는 약 30억 파라미터의 온디바이스 모델을 25억 대가 넘는 활성 기기에서 돌리고, 더 큰 요청은 프라이빗 클라우드 컴퓨트로 처리한다.
  • 조력자는 Arm(거의 모든 기기 SoC의 CPU·GPU IP), 삼성전자(엑시노스·갤럭시 AI와 LPDDR 메모리), 마이크론(엣지 AI용 저전력 LPDDR)이다.

AI 온디바이스란?

원격 데이터센터가 아니라 손 안이나 책상 위의 하드웨어에서 돌아가는 AI다. 현대 폰·노트북 칩에는 작은 모델을 로컬에서 돌릴 만한 신경망 처리장치(NPU)가 들어 있어, 요약·번역·비서 응답을 데이터를 클라우드로 보내지 않고 만들 수 있다. 이 개념은 그것을 가능케 하는 층들을 담는다. 상용 칩 공급사 퀄컴, 대표 배포자 애플, 대부분의 기기 칩 안에 있는 아키텍처 Arm, SoC와 저전력 메모리의 삼성전자와 마이크론이다.

왜 클라우드 대신 기기에서 AI를 돌리나?

온디바이스 AI를 미는 이유는 넷이다. 서버 왕복이 없어 지연이 줄고, 기기가 일을 해 비용이 낮으며, 데이터가 기기를 떠나지 않아 프라이버시가 지켜지고, 오프라인에서도 쓸 수 있다. 하드웨어도 이제 가능하다. 퀄컴 스냅드래곤 X 엘리트 NPU는 45 TOPS로 130억 파라미터가 넘는 모델을 로컬에서 돌릴 수 있고 (퀄컴 스냅드래곤 X 엘리트), 애플은 약 30억 파라미터의 온디바이스 모델을 돌리며 더 큰 요청만 프라이빗 클라우드 컴퓨트로 처리한다 (애플 머신러닝 리서치). WWDC 2026에서 애플은 소프트웨어를 한 단계 더 밀었다.

“우리는 모든 플랫폼에 차세대 Apple Intelligence를 제공하며, 훨씬 더 지능적이고 박식하며 유능한 Siri인 Siri AI를 선보입니다.”

— 크레이그 페더리기, 애플 소프트웨어 엔지니어링 수석부사장 (애플, 2026년 6월 8일)

온디바이스 AI의 실리콘과 소프트웨어는 누가 이끄나?

퀄컴이 상용 시장을 이끈다. 스냅드래곤 플랫폼이 프리미엄 안드로이드 폰과 늘어나는 AI PC에 온디바이스 AI를 넣고, 같은 엔진을 자동차로 확장한다. 애플은 도달 범위로 배포를 이끌어 25억 대가 넘는 활성 기기에서 애플 인텔리전스를 돌린다 (애플, 2026년 1월 29일). 둘 아래에는 거의 모든 기기 SoC에 CPU·GPU IP가 들어가는 Arm이 있고, 2026 회계연도 4분기 매출은 20% 늘어난 사상 최대 14.9억 달러였다 (Arm, 2026년 5월 6일). 삼성전자는 엑시노스·갤럭시 AI와 LPDDR 메모리를 더하고, 마이크론은 기기에 모델을 담는 저전력 LPDDR을 공급한다.

누가 AI 온디바이스를 고려할 만한가?

데이터센터 순수 플레이가 아니라 크고 유동성 높은 소비자 기술·칩 종목으로 AI에 노출되길 원하고, GPU 거래보다 안정적인 프로파일을 원하며 더 넓은 배분의 일부로 잡을 수 있는 투자자에게 맞는다. 기업들은 흑자이고 날짜가 박혀 있다. 애플의 2026 회계연도 2분기 매출은 17% 늘어난 1,112억 달러였고 (애플 8-K, 2026년 4월 30일), 퀄컴은 사상 최대 자동차 매출 13.26억 달러를 기록했다 (퀄컴 8-K, 2026년 4월 29일).

단서는 온디바이스 AI가 폰·노트북의 메모리·전력에 제약돼 가장 큰 모델은 여전히 클라우드에서 돌고, 그 분담이 정해지지 않았다는 점이다. 채택은 사용자가 원하는 소프트웨어에도 달려 있는데, 애플의 더 강력한 Siri는 늦어졌고 EU에서 지연됐다 (애플, 2026년 6월 8일). 기관에는 가속기에 치우친 북을 분산하는, 베타가 낮은 AI 슬리브로 작동한다.

AI 온디바이스를 대표하는 기업은?

기업섹터사업 내용
Qualcomm (QCOM) Information Technology · Semiconductors (Mobile & Edge AI) 온디바이스 AI의 중심 상용 공급사다. 스냅드래곤 플랫폼은 생성형 AI를 로컬로 돌리는 NPU를 갖췄고, 스냅드래곤 X 엘리트는 45 TOPS로 폰·AI PC·자동차를 아우르며, AI200·AI250으로 데이터센터 추론에도 재진입한다.
Apple (AAPL) Information Technology · Consumer Electronics & On-Device AI 대표 온디바이스 AI 배포자다. 애플 인텔리전스는 자체 A·M 시리즈 실리콘에서 약 30억 파라미터의 온디바이스 모델을 25억 대가 넘는 활성 기기에서 돌리고, 더 큰 요청은 프라이빗 클라우드 컴퓨트로 처리한다.
Arm Holdings (ARM) Information Technology · Semiconductors (IP) Arm의 CPU·GPU IP는 거의 모든 스마트폰과 AI PC SoC 안에 있어 온디바이스 AI가 Arm 설계 코어에서 돌아간다. 2026 회계연도 4분기 매출은 기기·데이터센터 로열티 성장으로 20% 늘어난 사상 최대 14.9억 달러였다.
Samsung Electronics (005930) Information Technology · Semiconductors & Consumer Electronics 삼성전자는 자사 폰에서 엑시노스 SoC와 갤럭시 AI 기능으로 온디바이스 AI를 돌리고, 엣지 AI를 먹이는 LPDDR 메모리를 공급한다. AI 메모리 호황으로 2026년 1분기 사상 최대 매출 133조 8,700억 원을 기록했다.
Micron Technology (MU) Information Technology · Semiconductors (Memory) 마이크론은 데이터센터용 HBM과 함께, 폰·AI PC의 온디바이스 AI를 위해 모델과 데이터를 담는 저전력 LPDDR 메모리를 공급한다. 2026 회계연도 2분기 매출은 AI 메모리 수요로 세 배 가까이 늘어난 238.6억 달러였다.

AI 온디바이스의 리스크는?

온디바이스 AI는 실재하지만, 가장 큰 모델이 도는 곳은 아니다.

  • 하드웨어 한계. 폰·노트북의 메모리·전력이 온디바이스 모델 크기를 제한해 프런티어는 여전히 클라우드의 몫이고, 온디바이스 대 클라우드 분담이 정해지지 않았다.
  • 소프트웨어 채택. 가치는 사용자가 원하는 기능에 달려 있다. 애플의 Siri 전개는 늦어졌고 EU에서 지연됐다 (애플, 2026년 6월 8일).
  • 소비자 사이클. 매출은 AI뿐 아니라 스마트폰·PC 교체 사이클을 따른다.
  • 고객 집중. 퀄컴은 시간이 지나며 애플 모뎀 사업 상실이라는 알려진 역풍에 직면한다.

관련 개념·종목·용어

자주 묻는 질문

AI 온디바이스란 무엇인가?

기기(폰·PC·자동차·엣지 기기)에서, 요청을 클라우드 데이터센터로 보내는 대신 칩에 내장된 신경망 처리장치(NPU)로 로컬에서 돌리는 AI다. 바스켓은 상용 칩 공급사(퀄컴), 대표 배포자(애플), 대부분의 기기 칩 안에 있는 아키텍처(Arm), 메모리·SoC 업체(삼성전자, 마이크론)를 담는다.

왜 클라우드 대신 기기에서 AI를 돌리나?

네 가지 이유다. 서버 왕복이 없어 지연이 줄고, 기기가 연산하니 비용이 낮으며, 데이터가 기기에 남아 프라이버시가 지켜지고, 오프라인에서도 쓸 수 있다. 애플은 약 30억 파라미터 모델을 기기에서 돌리고 더 큰 요청만 프라이빗 클라우드 컴퓨트로 처리하며 (애플 머신러닝 리서치), 퀄컴 스냅드래곤 X 엘리트 NPU는 130억 파라미터 모델을 로컬에서 돌린다 (퀄컴).

AI 온디바이스를 대표하는 기업은 어디인가?

다섯 종목이다. 상용 스냅드래곤 공급사 퀄컴(QCOM), 25억 대가 넘는 기기에서 애플 인텔리전스를 돌리는 애플(AAPL), 거의 모든 기기 SoC에 IP가 들어가는 Arm(ARM), 엑시노스·갤럭시 AI·LPDDR의 삼성전자(005930), 저전력 LPDDR을 공급하는 마이크론(MU)이다. 퀄컴 스냅드래곤 X 엘리트 NPU는 45 TOPS를 낸다 (퀄컴).

AI 온디바이스의 주요 리스크는 무엇인가?

온디바이스 AI는 폰·노트북의 메모리·전력 예산에 제약되므로 가장 큰 모델은 여전히 클라우드에서 돌고, 온디바이스와 클라우드의 분담은 아직 정해지지 않았다. 채택은 사용자가 실제로 원하는 소프트웨어에 달려 있는데, 애플의 Siri 전개는 늦어졌고 EU에서 지연됐다 (애플, 2026년 6월 8일). 종목들은 스마트폰·PC 교체 사이클에도 노출돼 있다.

AI 온디바이스는 개인 투자자에게 맞나?

데이터센터 순수 플레이가 아니라 크고 유동성 높은 소비자 기술·칩 종목으로 AI에 노출되길 원하고, GPU 거래보다 안정적인 프로파일을 바라는 투자자에게 맞는다. 기업들은 흑자이고 날짜가 박혀 있다. 애플 매출은 17% 늘어 1,112억 달러였고 (애플 8-K, 2026년 4월 30일), Arm은 20% 늘어난 사상 최대 14.9억 달러였다 (Arm, 2026년 5월 6일). 투자 전에는 보수·보유 종목·위험을 늘 확인해야 한다.

AI 온디바이스는 기관의 위임에 어떻게 들어맞나?

메가캡 소비자 기술(애플)과 핵심 IP·칩 층(Arm·퀄컴)을 축으로 한, 베타가 낮은 AI 슬리브로 쓸 수 있으며, 온디바이스 추론이 클라우드에서 점유율을 가져오면 옵션 가치가 있다. 테제가 데이터센터 설비투자가 아니라 설치 기반과 실리콘에 기대므로 가속기에 집중된 AI 북을 분산한다. 배분 담당자는 스마트폰 사이클 노출과 정해지지 않은 온디바이스 대 클라우드 분담을 따져야 한다.

AI 온디바이스 ETF가 있나?

온디바이스 AI 전용 ETF는 없다. 애플·퀄컴·Arm·삼성전자·마이크론은 단일 순수 플레이 상품이 아니라 폭넓은 기술·반도체 펀드에 들어가는 대형주다. 투자 전에는 보수·보유 종목·위험을 늘 확인해야 한다.

출처

  1. Qualcomm Announces Second Quarter Fiscal 2026 Results (SEC 8-K, Exhibit 99.1) · Qualcomm Incorporated / SEC EDGAR, 2026-04-29
  2. Snapdragon X Elite (45 TOPS Hexagon NPU) · Qualcomm Incorporated, 2026-06-15
  3. Apple reports second quarter results (SEC 8-K, Exhibit 99.1) · Apple Inc. / SEC EDGAR, 2026-04-30
  4. Updates to Apple's On-Device and Server Foundation Language Models · Apple Machine Learning Research, 2025-06-09
  5. Apple unveils next generation of Apple Intelligence, Siri AI, and more · Apple Inc., 2026-06-08
  6. Arm Holdings plc Reports Results for the Fourth Quarter and Fiscal Year Ended 2026 · Arm Holdings plc, 2026-05-06
  7. Samsung Electronics Announces First Quarter 2026 Results · Samsung Electronics, 2026-04-30