AI 인터커넥트 대전환: 구리의 시대가 저물고 '빛의 시대'가 열리는 이유

AI 인터커넥트 대전환: 구리의 시대가 저물고 '빛의 시대'가 열리는 이유 1. 서론: AI 인프라의 새로운 주인공, 인터커넥트 AI 기술의 패러다임이 가속화됨에 따라 하드웨어 인프라의 병목 지점은 연산 능력(FLOPS)과 메모리(HBM)를 넘어, 이제는 GPU 간의 데이터 고속도로인 '인터커넥트(Interconnect)'로 빠르게 이동하고 있습니다. 거대 언어 모델(LLM)의 파라미터 수가 수조 개 단위로 확장되면서 단일 GPU의 물리적 한계를 넘어선 지 오래이며, 이제는 수백, 수천 개의 GPU를 하나의 거대한 시스템처럼 유기적으로 작동시키는 연결 기술이 AI 경쟁력의 핵심이 되었습니다. 특히 텐서 병렬화(Tensor Parallelism, TP)와 전문가 병렬화(Expert Parallelism, EP) 기법의 확산은 인터커넥트 대역폭에 막대한 부하를 가하고 있습니다. 그중에서도 MoE(Mixture of Experts) 모델의 핵심인 'All-to-All' 통신은 중간 단계에