구글 메모리 최적화로 HBM 끝났다? 진짜 봐야 할 AI 반도체 변화

글로벌 빅테크 구글이 인공지능(AI) 연산 과정에서 고가 메모리 의존도를 대폭 낮추는 신규 아키텍처를 도입하면서 글로벌 반도체 시장의 셈법이 복잡해지고 있다. 최근 월가와 실리콘밸리 일각에서는 구글의 6세대 텐서처리장치(TPU)와 경량화 대규모언어모델(LLM) 발표를 두고 "구글이 메모리를 죽였다"는 극단적인 평가가 흘러나왔다. AI 모델의 매개변수(파라미터)를 압축하고 데이터 처리 경로를 단축해 HBM(고대역폭메모리) 사용량을 획기적으로 줄이는 기술이 적용됐기 때문이다. 이 같은 소식이 전해진 직후 기술주 중심의 나스닥 지수는 20,948.36(-2.1%)으로 주저앉았고, AI 반도체 랠리에 올라탔던 주요 기업들의 주가 변동성도 커졌다. 코스피 역시 5,438.87(-0.4%)로 약보합 마감하며 시장의 불안감을 반영했다. 이러한 우려는 일견 타당해 보인다. 그동안 AI 시장의 폭발적 성장은 엔비디아의 그래픽처리장치(GPU)와 이에 필수적으로 결합되는 고용량·고대역폭 HBM의 조합이 이끌어왔다. 구글을 비롯한 빅테크들이 자체 맞춤형 칩(ASIC)을 고도화하며 HBM 탑재량을 줄인다면, 메모리 반도체 제조사들의 슈퍼 사이클이 조기 종료될 수 있다는 논리다.

구글 메모리 최적화, HBM 수요 정말 꺾일까?

하지만 현업 엔지니어들과 반도체 설계 전문가들의 시각은 전혀 다르다. 표면적으로 드러난 메모리 탑재량 감소에 매몰될 것이 아니라, AI 연산의 무게중심이 '학습(Training)'에서 '추론(Inference)'으로 이동하는 거대한 구조적 변화를 읽어야 한다는 지적이다. 구글이 선보인 메모리 최적화 기술은 HBM 자체를 배제하는 것이 아니다. 천문학적인 비용이 드는 AI 추론 서비스의 경제성을 확보하기 위한 고육지책에 가깝다. 거시경제 여건이 악화되는 환경에서, 글로벌 빅테크들은 막대한 전력 소모와 하드웨어 구축 비용을 통제해야 하는 압박에 시달리고 있다. 구글의 행보는 가장 비싼 부품인 최상위 등급 HBM의 사용을 '학습'용 슈퍼컴퓨터에 집중하고, 수십억 명의 일반 사용자가 접속하는 '추론'용 서버에는 비용 효율적인 대안 메모리를 혼합하겠다는 전략적 선택이다. 사안에 밝은 업계 관계자는 "초거대 AI 모델을 훈련할 때는 여전히 최고 사양의 HBM이 절대적으로 부족하지만, 이미 학습된 모델을 서비스하는 단계에서는 메모리 용량과 대역폭의 가성비가 핵심"이라며 "구글의 이번 아키텍처 변경은 AI 서비스의 대중화를 위해 필수적인 수순"이라고 설명했다.

구글 메모리 사용량 줄이기, 진짜 노리는 것은 무엇인가?

실제로 빅테크들이 직면한 가장 큰 기술적 난제는 연산 장치의 속도를 메모리가 따라가지 못하는 '메모리 병목(Memory Wall)' 현상이다. 단순히 메모리 점유율을 낮추는 것이 목적이 아니라, 프로세서와 메모리 간의 데이터 병목을 해소하기 위한 우회로를 찾고 있는 셈이다. 이 과정에서 새롭게 부상하는 기술이 바로 CXL(컴퓨트 익스프레스 링크)이다. CXL은 중앙처리장치(CPU), GPU, 메모리 반도체를 효율적으로 연결해 필요할 때마다 메모리 용량을 유연하게 확장할 수 있는 차세대 인터페이스다. 구글은 HBM 탑재량을 무한정 늘리는 대신, CXL 기반의 D램 모듈을 활용해 서버 전체의 메모리 풀(Pool)을 공유하는 방식을 적극 도입하고 있다. 이는 국내 반도체 기업들에게 위기이자 새로운 기회다. 월가 전문가들은 빅테크의 메모리 효율화 작업이 단기적으로는 일부 범용 메모리의 수요 둔화를 불러올 수 있지만, 장기적으로는 맞춤형 차세대 메모리 시장을 폭발적으로 키울 것으로 분석한다. 삼성전자와 SK하이닉스가 CXL 2.0 및 3.0 규격을 지원하는 고용량 D램 개발에 적극 투자하고 있는 이유도 여기에 있다.

단순한 '구글 메모리 부족' 해결 넘어선 생태계 재편

물론 반론도 존재한다. 빅테크들의 칩 내재화와 메모리 최적화가 가속화될수록, 반도체 제조사들이 누려온 높은 영업이익률이 훼손될 수 있다는 분석이다. 특히 HBM이 전체 D램 매출에서 차지하는 비중이 30%를 넘어서는 상황에서, 고객사들의 단가 인하 압박이나 스펙 하향 조정은 실적에 직접적인 타격을 줄 수 있다. 이러한 우려가 현실화될지 검증할 수 있는 핵심 지표는 올해 하반기 마이크로소프트, 아마존웹서비스(AWS), 메타 등 주요 클라우드 서비스 제공자(CSP)들의 자본적지출(CAPEX) 세부 내역이다. 이들이 자체 칩 개발과 함께 범용 D램 및 CXL 모듈 구매 비중을 얼마나 늘리는지 확인해야 한다. 이미 기민한 투자자들과 하드웨어 스타트업들은 엔비디아와 HBM으로 대변되는 '1차 AI 하드웨어 랠리' 이후를 준비하고 있다. 전력 효율을 극대화한 신경망처리장치(NPU) 기업들이나, 광학 기술을 이용해 칩 간 데이터 전송 속도를 높이는 실리콘 포토닉스(Silicon Photonics) 관련 기업들에 벤처 자금이 몰리고 있다. '구글이 메모리를 죽였다'는 시장의 반응은 AI 인프라의 다변화라는 본질을 오독한 착각이다. AI 연산의 형태가 다변화됨에 따라 메모리의 역할 역시 초고속·고비용의 HBM과 대용량·고효율의 CXL 등으로 세분화되고 있다. 반도체 산업은 지금 죽음이 아닌 진화의 변곡점을 지나고 있다.