AI 토큰

대규모 언어 모델(LLM)에서 토큰은 하나의 단어 전체, 단어의 일부, 구두점 또는 기타 텍스트 조각을 나타낼 수 있습니다. 따라서 토큰 하나가 반드시 단어 하나 또는 문자 하나와 일치하는 것은 아닙니다. 또한 모델마다 사용하는 토크나이저가 다르므로 동일한 콘텐츠라도 토큰 수가 다를 수 있습니다.

사용자가 프롬프트를 제출하면 모델은 먼저 입력 토큰을 처리한 다음 추론 과정에서 출력 토큰을 생성합니다. 이러한 출력 토큰이 사용자가 보는 응답으로 변환됩니다.

LLM의 컨텍스트 윈도우는 일반적으로 토큰 단위로 측정되며, 모델이 한 번에 처리할 수 있는 정보의 양을 결정합니다. 컨텍스트 윈도우가 클수록 더 긴 문서, 대화 또는 기타 컨텍스트 정보를 처리할 수 있지만, 추가적인 컴퓨팅 및 메모리 리소스도 필요합니다.

추론 모델과 에이전틱 AI가 더 길고 복잡한 워크플로를 수행함에 따라 하나의 작업에 훨씬 더 많은 토큰이 사용될 수 있습니다. NVIDIA CEO Jensen Huang은GTC 2026에서 최근 몇 년간 AI 컴퓨팅 수요가 약 백만 배 증가했다고 밝혔습니다. 같은 해 Google도 발표한 바에 따르면, Google의 AI 시스템은 월 3.2 quadrillion tokens 이상을 처리하며, 이는 2년 전의 9.7 trillion tokens에서 증가한 수치로 300배 이상 늘어난 것입니다. 토큰 처리량이 계속 증가함에 따라 토큰 처리량, 지연 시간, 비용은 AI 추론에서 점점 더 중요한 지표가 되고 있습니다.

일반적인 단어는 토큰 하나만 필요할 수 있지만, 길거나 사용 빈도가 낮은 단어는 여러 토큰으로 나뉠 수 있습니다. 언어, 구두점, 특수 문자, 토크나이저 설계에 따라 결과가 달라질 수 있으므로 동일한 콘텐츠라도 AI 모델에 따라 토큰 수가 다를 수 있습니다.

멀티모달 AI 모델은 이미지, 오디오, 동영상도 모델이 처리할 수 있는 토큰 또는 이와 유사한 표현으로 변환할 수 있습니다.

생성형 AI 서비스는 일반적으로 입력 토큰과 출력 토큰을 구분합니다. 입력 토큰에는 모델에 제공되는 프롬프트, 문서 및 기타 컨텍스트 정보가 포함되며, 출력 토큰은 모델이 응답을 생성하는 과정에서 만들어집니다. 일부 서비스는 캐시된 토큰과 추론 토큰도 별도로 산정할 수 있습니다. 캐시된 토큰은 다시 전체 처리를 수행할 필요가 없는 재사용 가능한 입력 콘텐츠를 의미하며, 추론 토큰은 응답을 생성하기 전에 모델의 내부 추론 과정에서 사용됩니다. 구체적인 토큰 범주, 계산 방식 및 과금 체계는 제공업체에 따라 다릅니다.

전체 토큰 수 외에도 초당 토큰 수는 생성 속도를 측정하는 데 일반적으로 사용되며, 첫 토큰까지의 시간(TTFT)은 요청이 전송된 후 첫 번째 토큰이 생성될 때까지의 지연 시간을 측정합니다. 동시에 많은 사용자에게 AI 플랫폼을 제공하는 환경에서는 이러한 지표가 사용자 경험과 인프라 효율성 모두에 직접적인 영향을 미칠 수 있습니다.

GPU는 대규모 언어 모델과 멀티모달 모델 같은 높은 수준의 병렬 처리가 필요한 AI 추론 워크로드에 적합합니다. 반면 CPU는 데이터 처리, 애플리케이션 서비스, 모델 오케스트레이션 및 에이전틱 AI 워크플로에서 여전히 중요한 역할을 합니다. AI 에이전트가 데이터를 검색하고, API를 호출하고, 외부 도구를 사용하거나, 여러 작업을 조율할 때는 전체 AI 시스템에서 CPU와 GPU 리소스가 함께 작동합니다.

GIGABYTE는 다양한 유형과 규모의 AI 추론 워크로드를 지원하기 위해 고성능 CPU 서버와 GPU 서버부터 랙 스케일 AI 컴퓨팅 플랫폼까지 폭넓은 포트폴리오를 제공합니다. GIGAPOD, GIGABYTE POD Manager(GPM), 직접 액체 냉각과 같은 첨단 냉각 기술을 통해 GIGABYTE는 조직이 높은 처리량과 짧은 지연 시간을 제공하는 확장 가능한 AI 인프라를 구축할 수 있도록 지원합니다.