AIDC (AI Data Center)
AI 데이터센터
AIDC(AI 데이터센터)란 무엇인가요?
AIDC는 AI 데이터센터(AI Data Center)의 약자로, 인공지능 워크로드를 지원하도록 특별히 설계된 데이터센터를 의미합니다. AI 모델 학습, 파인튜닝 및 추론은 물론 생성형 AI와 에이전틱 AI와 같은 애플리케이션에 사용됩니다.
AIDC의 핵심은 특정 컴퓨팅 구성 요소 하나에 있지 않습니다. 다양한 AI 워크로드의 요구 사항에 따라 CPU, GPU 및 기타 AI 가속기를 메모리, 스토리지, 네트워킹, 전력, 냉각 및 관리 소프트웨어와 통합하는 것이 핵심입니다. 대규모 모델 학습과 실시간 추론부터 지속적으로 추론을 수행하고, 데이터에 액세스하며, 외부 도구를 호출하는 에이전틱 AI에 이르기까지 각 애플리케이션은 컴퓨팅 리소스와 시스템 아키텍처에 서로 다른 요구 사항을 제시합니다.
주로 엔터프라이즈 IT, 데이터베이스, 가상화와 같은 범용 워크로드를 지원하는 기존 데이터센터와 비교하면, AIDC는 고밀도 컴퓨팅, 고속 데이터 전송, 그리고 컴퓨팅·스토리지·네트워킹·에너지 인프라 전반의 통합 설계를 더욱 중시합니다. 이를 통해 AI 워크로드 요구 사항에 따라 리소스를 보다 효율적으로 할당하고 확장할 수 있습니다. 업계에서는 데이터를 컴퓨팅 리소스와 결합해 AI 기반 서비스와 애플리케이션으로 전환하는 이러한 유형의 인프라를 설명할 때 “AI Factory”라는 용어도 일반적으로 사용합니다.
AI 데이터센터가 필요한 이유
AI 모델의 규모와 AI 애플리케이션의 작동 방식이 데이터센터 인프라를 빠르게 재편하고 있습니다.
초기의 생성형 AI 애플리케이션은 주로 개별 프롬프트와 응답을 기반으로 작동했습니다. 그러나 추론형 AI와 에이전틱 AI가 발전하면서 AI 시스템은 여러 단계에 걸쳐 추론하고, 외부 도구를 호출하며, 다른 AI 에이전트와 협업하고, 장시간 지속적으로 작동해야 할 수 있습니다. 이에 따라 AI 컴퓨팅은 일회성 상호작용을 넘어 더욱 복잡하고 자동화된 워크로드로 발전하고 있습니다.
AI 애플리케이션마다 컴퓨팅, 메모리, 스토리지, 네트워킹 리소스에 대한 요구사항도 서로 다릅니다. 따라서 데이터센터는 증가하는 AI 컴퓨팅 수요에 대응할 수 있도록 리소스 할당과 확장성을 더욱 유연하게 운영해야 합니다.McKinsey는 2030년까지 전 세계 데이터센터 누적 자본 지출이 7조 달러에 근접할 수 있으며, AI 컴퓨팅 수요가 주요 동인 중 하나가 될 것으로 전망합니다.
AI 데이터센터가 직면한 과제는 무엇인가요?
AI 클러스터의 규모와 전력 밀도가 증가함에 따라 전력 및 냉각 요구 사항도 함께 늘어나고 있습니다. 이에 따라 전력 공급은 AI 데이터센터(AIDC) 확장을 제약하는 점점 더 중요한 요인이 되고 있습니다.Deloitte는 미국 AI 데이터센터의 전력 수요가 2024년 약 4GW에서 2035년 123GW까지 증가해 30배 이상 늘어날 수 있다고 추정합니다.
전력과 인프라 리소스의 제약이 점점 커지면서 AI 데이터센터 개발의 초점은 더 많은 GPU를 배치하거나 고사양 하드웨어를 도입하는 데만 머물지 않습니다. 동일하게 가용한 리소스로 더 많은 AI 워크로드를 처리하는 동시에 운영 비용을 절감할 수 있도록 전체 시스템 효율성을 높이는 것이 더 큰 과제가 되고 있습니다.
예를 들어 생성형 AI 추론에서는 전력 소비량 대비 토큰 출력 효율을 측정하는 지표로 와트당 토큰 수(Tokens per Watt)를 사용할 수 있으며, 백만 토큰당 비용(Cost per Million Tokens)은 AI 토큰 100만 개를 생성하는 데 드는 비용을 나타냅니다. 이러한 지표를 함께 활용하면 컴퓨팅 리소스, 네트워킹, 메모리, 소프트웨어 최적화, 에너지 효율성 및 시스템 활용률이 종합적으로 반영된 실제 성능을 보다 폭넓게 파악할 수 있습니다.
GIGABYTE의 AI 데이터센터 솔루션
GIGABYTE는AI 솔루션과데이터센터 인프라를 제공하여, 다양한 AI 워크로드와 구축 요구사항에 맞춘 AI 데이터센터 구축을 지원합니다. 컴퓨팅, 네트워킹, 전력, 냉각 및 관리 소프트웨어를 통합해 포괄적인 하드웨어 및 소프트웨어 아키텍처를 제공하며, 기업이 기존 IT 인프라를 높은 확장성을 갖춘 AI 컴퓨팅 플랫폼으로 전환할 수 있도록 지원합니다.
GIGAPOD 솔루션은 고속 인터커넥트 아키텍처를 활용해 다수의 CPU, GPU 및 AI 가속기를 고성능 컴퓨팅 클러스터로 통합하고, 대규모 병렬 컴퓨팅과 AI 워크로드를 지원합니다. 또한 공랭식 및 수랭식 구성을 모두 지원하므로 고객은 성능, 에너지 효율성 및 총소유비용(TCO) 간의 균형을 최적화할 수 있습니다.
GIGAPOD는 GPU 컴퓨팅 서버뿐만 아니라 냉각 시스템과 전력 분배 장비의 중앙 집중식 관리도 지원합니다. 또한GIGABYTE POD Manager(GPM)와 함께 데이터센터 인프라 관리(DCIM), 워크로드 스케줄링 및 시스템 모니터링 등의 기능을 제공합니다.
개별 서버와 컴퓨팅 클러스터부터 랙 단위 및 데이터센터 단위 구축에 이르기까지, GIGABYTE는 기업이 특정 요구사항에 맞춘 AI 팩토리 구축을 가속화하고 AI 도입 및 확장의 다음 단계에 대비할 수 있도록 포괄적인 AI 데이터센터 솔루션을 제공합니다.
