AI 추론 인프라

AI 추론 인프라는 인공지능의 서빙(serving) 쪽이다. 이미 학습된 모델을 실제 서비스에서 돌리는 칩, 시스템, 클라우드, 네트워킹, 전력을 묶는다. 추론·에이전트 모델이 질의당 더 많은 토큰을 만들어 내면서 이 반복 작업은 한 번 드는 학습보다 빠르게 커지고 있고, 바스켓은 엔비디아, 브로드컴, 마벨, 코어위브, 아리스타, 버티브, 세레브라스를 아우른다.

분류	Thematic / AI compute — inference & serving
대표 기업	8
관련 ETF	TIGER 미국AI데이터센터TOP4Plus (0142D0)
최종 업데이트	2026-06-15

핵심 요약

AI 추론 인프라는 AI의 서빙(serving) 쪽이다. 학습된 모델을 실제 서비스에서 돌리는 칩, 시스템, 클라우드, 네트워킹, 전력을 묶는다. 한 번 드는 학습 비용과 대비되는 개념이다.
작업 구성은 추론 쪽으로 기울고 있다. 추론·에이전트 모델은 질의당 훨씬 많은 출력 토큰을 만들어 내므로, 모델을 돌리는 반복 비용이 학습 비용보다 빠르게 불어난다.
추론의 중심은 여전히 엔비디아다. 2026년 2~4월 분기 데이터센터 매출은 사상 최대인 752억 달러로 92% 늘었고, GB200 NVL72 랙은 추론 모델의 인퍼런스를 겨냥해 설계됐다.
맞춤형 실리콘, 네오클라우드, 네트워킹, 전력이 모두 추론과 함께 커진다. 브로드컴의 AI 매출은 143% 늘어 108억 달러였고, 코어위브의 백로그는 994억 달러에 달했으며, 세레브라스는 OpenAI와 750메가와트·200억 달러 넘는 추론 계약을 맺었다.
한국에서 가장 가까운 대용 수단은 Akros 미국 AI 데이터센터·미국 AI 반도체 지수이며, 이를 추종하는 TIGER·KODEX ETF가 이 종목들을 다수 담는다.

AI 추론 인프라란?

학습이 끝난 모델을 돌리는, AI 구축의 한 부분이다. 학습은 모델을 한 번 가르치는 일이고, 추론은 그 모델을 돌려 모든 프롬프트에 답하고 모든 이미지를 분류하고 에이전트의 모든 단계를 실행하는 일로 하루에도 수십억 번 일어난다. 그 비용이 사용량과 함께 반복되기 때문에, 서빙에 최적화된 하드웨어가 그 자체로 투자 가능한 한 층이 됐다. 이 개념은 각 부분의 선두를 담는다. GPU의 엔비디아, 맞춤형 가속기·네트워킹 실리콘의 브로드컴과 마벨, 이더넷 패브릭의 아리스타, 네오클라우드 용량의 코어위브와 네비우스, 전력·냉각의 버티브, 웨이퍼스케일 추론 시스템의 세레브라스다.

왜 작업이 학습에서 추론으로 옮겨 가나?

최신 모델이 답하기 전에 ‘생각’하기 때문이다. 추론·에이전트 시스템은 긴 중간 토큰의 사슬을 만들어 내고, 자율 에이전트는 한 작업을 끝내려고 모델을 수십 번 호출할 수 있다. 그래서 모델 수명 동안 서빙에 드는 연산이 학습 연산을 압도할 수 있다. 그 수요는 엔비디아 실적에 나타난다. 2026년 2~4월 분기 데이터센터 매출은 사상 최대인 752억 달러로 92% 늘었고, 총매출은 816억 달러로 85% 늘었다 (NVIDIA, 2026년 5월 20일). 엔비디아 창업자 겸 CEO 젠슨 황은 구축의 규모를 이렇게 표현했다.

“인류 역사상 가장 큰 인프라 확장인 AI 팩토리 구축이 엄청난 속도로 가속하고 있다.”

— 젠슨 황, 엔비디아 창업자 겸 CEO (NVIDIA, 2026년 5월 20일)

왜 추론에서는 맞춤형 실리콘이 GPU와 함께 커지나?

추론은 비용과 지연에 민감하고, 하이퍼스케일러는 상시 서빙에 범용 GPU보다 싼 수단을 원하기 때문이다. 브로드컴은 구글 TPU와 메타 MTIA 가속기를 공동 설계하고 AI 패브릭의 이더넷 스위치 실리콘을 공급한다. AI 반도체 매출은 2026 회계연도 2분기에 143% 늘어 108억 달러였고 3분기 가이던스는 160억 달러다 (브로드컴 8-K, 2026년 6월 3일). 마벨은 맞춤형 XPU와 클러스터 안에서 토큰을 옮기는 광 DSP를 만들고, 사상 최대였던 2027 회계연도 1분기 매출 24.18억 달러(+28%)의 약 76%가 데이터센터였다 (마벨 8-K, 2026년 5월 27일). 시스템 극단에서는 세레브라스가 엔비디아 B200보다 58배 큰 웨이퍼스케일 프로세서를 팔며 OpenAI와 750메가와트·200억 달러가 넘는 추론 계약을 맺었다 (CNBC, 2026년 1월 14일).

클라우드·네트워킹·전력은 AI 추론 인프라에서 어떤 역할을 하나?

추론 용량이 실제로 임대되고 돌아가는 곳이다. 네오클라우드는 GPU를 대량으로 사서 다년 계약으로 되빌려준다. 코어위브는 2026년 1분기 말 매출 백로그 994억 달러와 계약 전력 3.5기가와트 이상으로 분기를 마쳤고 (코어위브, 2026년 5월 7일), 네비우스는 마이크로소프트·메타를 고객으로 두고 2026년 1분기 그룹 매출을 684% 늘려 3.99억 달러를 기록했다 (네비우스, 2026년 5월 13일). 클러스터에는 패브릭과 전력 예산이 필요하다. 아리스타의 2026년 1분기 매출은 AI 네트워킹 목표 상향과 함께 35% 늘어난 27.09억 달러였고 (아리스타, 2026년 5월 5일), 버티브의 순매출은 데이터센터 전력·액체 냉각으로 30% 늘어난 26.5억 달러였으며 미주는 유기적으로 44% 성장했다 (버티브 8-K, 2026년 4월 22일).

누가 AI 추론 인프라를 고려할 만한가?

단일 칩이 아니라 AI의 반복적·사용량 기반 측면을 원하고, 바스켓 전체가 같은 구매자에 기댄다는 점을 감안해 비중을 잡을 수 있는 투자자에게 맞는다. 매출은 약속이 아니라 현재진행형이다. 코어위브 백로그는 994억 달러이고 (코어위브), 아리스타는 AI 네트워킹 수요로 가이던스를 올렸으며 (아리스타), 버티브의 수주 잔고는 수 기가와트의 계획 용량을 반영한다 (버티브 8-K).

단서는 집중이다. 소수의 하이퍼스케일러와 AI 랩이 수요 대부분을 대므로, 이들의 설비투자가 느려지면 칩·클라우드·네트워킹·전력이 함께 흔들린다. 개인 투자자에게는 분산된 핵심 옆의 위성 비중을, 기관에는 성장·모멘텀 북과의 팩터 중복을 예산화해야 하는 고베타 슬리브를 뜻하며, 신규 상장주인 세레브라스가 예외다 (세레브라스 S-1).

AI 추론 인프라를 대표하는 기업은?

기업	섹터	사업 내용
NVIDIA (NVDA)	Information Technology · Semiconductors	엔비디아의 GPU는 AI 추론 대부분을 돌리고, Blackwell GB200 NVL72 랙은 추론·에이전트 모델의 인퍼런스를 겨냥해 설계됐다. FY2027 1분기(2026년 2~4월) 데이터센터 매출은 사상 최대인 752억 달러로 전년 대비 92% 늘었다.
Broadcom (AVGO)	Information Technology · Semiconductors	브로드컴은 하이퍼스케일러가 범용 GPU보다 싸게 추론을 서빙하는 데 쓰는 맞춤형 가속기(구글 TPU, 메타 MTIA)를 공동 설계하고, 추론 클러스터를 엮는 이더넷 스위치 실리콘을 공급한다. AI 반도체 매출은 2026 회계연도 2분기에 143% 늘어난 108억 달러였다.
Marvell Technology (MRVL)	Information Technology · Semiconductors	마벨은 맞춤형 XPU와, 추론 클러스터 안에서 토큰을 옮기는 광 DSP·이더넷 스위칭을 만든다. 사상 최대였던 2027 회계연도 1분기 매출 24.18억 달러(전년 대비 +28%)의 약 76%가 데이터센터였다.
CoreWeave (CRWV)	Information Technology · AI Cloud (GPU-as-a-Service)	코어위브는 가장 큰 순수 AI 클라우드로, 점점 더 추론 작업을 서빙하는 엔비디아 GPU 클러스터를 임대한다. 2026년 1분기 말 매출 백로그는 994억 달러, 계약 전력은 3.5기가와트를 넘었다.
Nebius Group (NBIS)	Information Technology · AI Cloud (GPU-as-a-Service)	네비우스는 학습과 추론을 위한 엔비디아 GPU 용량을 짓는 빠르게 크는 네오클라우드다. 2026년 1분기 그룹 매출은 전년 대비 684% 늘어난 3.99억 달러였고, 마이크로소프트와 메타가 인프라 고객에 포함된다.
Arista Networks (ANET)	Information Technology · Data-Center Networking	아리스타의 고성능 이더넷 스위치는 AI 추론·학습 클러스터의 표준 패브릭 중 하나다. 2026년 1분기 매출은 35% 늘어난 27.09억 달러였고, 회사는 AI 네트워킹 목표를 상향했다.
Vertiv (VRT)	Industrials · Data Center Power & Cooling	버티브는 고밀도 추론 랙에 필요한 전력 분배와 액체 냉각을 공급한다. AI 수요로 2026년 1분기 순매출은 30% 늘어난 26.5억 달러였고, 미주는 유기적으로 44% 성장했다.
Cerebras Systems (CBRS)	Information Technology · Semiconductors (AI Systems)	세레브라스는 고속 추론을 위해 설계된 웨이퍼스케일 시스템을 판다. Wafer-Scale Engine은 엔비디아 B200 칩보다 58배 크다. OpenAI는 세레브라스 추론 연산 750메가와트에 200억 달러가 넘는 계약을 맺었다.

AI 추론 인프라의 리스크는?

현금흐름은 실재하지만, 소수 예산에 대한 의존도 그렇다.

설비투자 집중. 소수의 하이퍼스케일러와 AI 랩이 추론 수요 대부분을 대므로, 이들의 지출이 멈추면 바스켓의 모든 층이 동시에 타격을 받는다.
클라우드 층의 레버리지. 네오클라우드 성장은 부채로 조달되며, 코어위브는 2026년 1분기에만 85억 달러 규모 시설을 더했다. 금리가 오르면 증설 1기가와트당 비용이 커진다 (코어위브, 2026년 5월 7일).
신규 상장주의 고객 집중. 세레브라스는 2025년 매출의 86%를 UAE 연계 고객 둘에서 얻었고, 밸류에이션은 OpenAI 램프가 일정대로 진행된다는 가정을 담는다 (세레브라스 S-1).
효율화에 따른 가격 위험. 더 싸거나 효율적인 추론 실리콘(하이퍼스케일러 ASIC 포함)이 총수요가 커지는 와중에도 특정 층의 가격을 누를 수 있다.

자주 묻는 질문

AI 추론 인프라란 무엇인가?

인공지능의 서빙(serving) 쪽이다. 이미 학습된 모델을 실제 서비스에서 돌리는 실리콘, 시스템, 클라우드, 네트워킹, 전력을 묶는다. 학습은 모델을 한 번 만드는 일이고, 추론은 사용자 질의마다 매일 그 모델을 돌리는 일이다. 바스켓은 GPU(엔비디아), 맞춤형 가속기·네트워킹(브로드컴, 마벨, 아리스타), 네오클라우드(코어위브, 네비우스), 전력·냉각(버티브), 웨이퍼스케일 추론 시스템(세레브라스)을 아우른다.

추론은 AI 학습과 어떻게 다른가?

학습은 모델을 가르치는 선행적·연산집약적 과정으로 모델 버전마다 한 번 든다. 추론은 그 모델을 돌려 프롬프트에 답하는 반복 비용으로 사용량에 따라 늘어난다. 추론은 지연·비용에 더 민감해서, 하이퍼스케일러는 범용 GPU와 함께 브로드컴이 공동 설계한 구글 TPU·메타 MTIA 같은 맞춤형 가속기를 배치한다 (브로드컴 8-K, 2026년 6월 3일).

추론이 학습보다 더 큰 작업이 되고 있나?

그쪽으로 기울고 있다. 추론·에이전트 모델은 이전 챗봇보다 질의당 훨씬 많은 출력 토큰을 만들어, 모델 수명 동안 서빙에 드는 연산이 학습 연산을 넘어설 수 있다. 엔비디아는 GB200 NVL72 랙을 추론 모델 인퍼런스를 위해 설계했고, 2026년 2~4월 분기 데이터센터 매출은 92% 늘어난 사상 최대 752억 달러였다 (NVIDIA, 2026년 5월 20일).

AI 추론 인프라를 대표하는 기업은 어디인가?

서빙 스택 전반의 8개 종목이다. GPU의 엔비디아(NVDA), 맞춤형 가속기·네트워킹 실리콘의 브로드컴(AVGO)·마벨(MRVL), 이더넷 패브릭의 아리스타(ANET), 네오클라우드 용량의 코어위브(CRWV)·네비우스(NBIS), 전력·냉각의 버티브(VRT), 웨이퍼스케일 추론 시스템의 세레브라스(CBRS)다. 코어위브 혼자서 2026년 1분기 말 매출 백로그가 994억 달러였다 (코어위브, 2026년 5월 7일).

AI 추론 인프라의 주요 리스크는 무엇인가?

집중과 설비투자 의존이다. 소수의 하이퍼스케일러와 AI 랩이 수요 대부분을 대므로, 이들의 지출이 멈추면 칩·클라우드·네트워킹·전력이 동시에 타격을 받는다. 네오클라우드는 레버리지와 고객 집중 위험을 더한다. 코어위브는 부채로 증설을 끌고 가고, 세레브라스는 2025년 매출의 86%를 UAE 연계 고객 둘에서 얻었다 (세레브라스 S-1). 더 싸거나 효율적인 추론 실리콘이 특정 층의 가격을 누를 수도 있다.

AI 추론 인프라는 개인 투자자에게 좋은 장기 투자처인가?

AI의 반복적·사용량 기반 측면에 노출되길 원하고 단일 테마 변동성을 감내할 수 있는 투자자에게 맞으며, 핵심이 아니라 위성 비중으로 잡아야 한다. 현금흐름은 실재하고 날짜가 박혀 있다. 코어위브 백로그는 994억 달러에 이르렀고 (코어위브, 2026년 5월 7일), 아리스타 매출은 35% 늘어난 27.09억 달러였으며 (아리스타, 2026년 5월 5일), 버티브 순매출은 30% 늘어난 26.5억 달러였다 (버티브 8-K, 2026년 4월 22일). 다만 바스켓 전체가 같은 하이퍼스케일러 예산에 기대 함께 움직인다. 투자 전에는 보수·보유 종목·위험을 늘 확인해야 한다.

AI 추론 인프라는 기관의 테마형 위임에 어떻게 들어맞나?

유동성 높은 대부분 미국 상장 종목으로 AI의 서빙 층을 담는 고베타 슬리브로 쓸 수 있다. 신규 상장주인 세레브라스가 예외다. 테제는 공시된 약속으로 검증된다. OpenAI의 750메가와트·200억 달러 넘는 세레브라스 계약 (CNBC, 2026년 1월 14일), 마이크로소프트·메타를 확보한 네비우스 (네비우스, 2026년 5월 13일), 브로드컴의 3분기 AI 가이던스 160억 달러가 그것이다 (브로드컴 8-K). 배분 담당자의 단서는 성장·모멘텀 북과의 팩터 중복과 소수 설비투자 예산에 집중된 수요다.

AI 추론 인프라를 추종하는 ETF가 있나?

추론 전용 ETF는 없지만, 한국에서 가장 가까운 대용은 Akros 미국 AI 데이터센터 지수를 추종하며 추론을 서빙하는 네오클라우드·전력 종목을 담는 TIGER 미국AI데이터센터TOP4Plus ETF(0142D0)다 (미래에셋). 칩 층은 KODEX 미국AI반도체TOP3플러스 ETF(0151S0)가 다룬다 (삼성자산운용). 투자 전에는 보수·보유 종목·위험을 늘 확인해야 한다.

출처

NVIDIA Announces Financial Results for First Quarter Fiscal 2027 · NVIDIA Corporation (Newsroom), 2026-05-20
Broadcom announces second quarter fiscal year 2026 financial results (SEC 8-K, Exhibit 99.1) · Broadcom Inc. / SEC EDGAR, 2026-06-03
Marvell Technology reports fiscal Q1 2027 results (Form 8-K, Exhibit 99.1) · Marvell Technology / SEC EDGAR, 2026-05-27
CoreWeave Reports Strong First Quarter 2026 Results · CoreWeave, Inc., 2026-05-07
Nebius reports first quarter 2026 financial results · Nebius Group N.V., 2026-05-13
Arista Networks, Inc. Reports First Quarter 2026 Financial Results · Arista Networks, Inc., 2026-05-05
Vertiv Reports First Quarter 2026 Results (SEC 8-K, Exhibit 99.1) · Vertiv Holdings Co / SEC EDGAR, 2026-04-22
Cerebras scores OpenAI deal worth over $10 billion · CNBC, 2026-01-14
Cerebras Systems Inc. Form S-1 Registration Statement · Cerebras Systems Inc. / SEC EDGAR, 2026-04-17
TIGER US AI Data Center TOP4 Plus ETF (0142D0) — product page · Mirae Asset Global Investments, 2025-12-09
KODEX 미국AI반도체TOP3플러스 ETF (0151S0) — product page · Samsung Asset Management, 2026-01-13