• 목록

안녕하세요! 최근 생성형 AI 기술이 급격하게 발전하면서, 사내 챗봇이나 고객 응대용 AI 서비스를 직접 구축하려는 기업들이 정말 많아졌습니다.

하지만 기획 단계에서 가장 먼저 부딪히는 난관이 있습니다. 바로 "우리 서비스에 동시 접속자가 이만큼 몰리면 서버랑 GPU는 얼마나 사야(혹은 빌려야) 하지?"라는 인프라 규모 산출 문제입니다.

오늘은 AI 챗봇 서비스에서 하나의 거대한 기준점이 되는 '동시 접속자(Concurrency) 1,000명'을 가정하고, 어떤 AI 모델을 쓰느냐에 따른 시나리오별 GPU 및 백엔드 자원 규모를 데이터 기반으로 생생하게 풀어보겠습니다.

* 들어가기 전에: '동접 1,000명'의 진짜 의미

웹 서비스에서 동접 1,000명은 단순 세션 유지를 뜻하지만, AI 챗봇에서 동접 1,000명은 1,000명이 동시에 엔터키를 눌러 실시간으로 답변(토큰)을 생성하고 있는 초고부하 상태를 의미합니다. 사용자가 읽기에 답답하지 않은 속도(초당 30~50토큰 생성)를 유지하기 위한 자원을 산출해 보았습니다.

* 시나리오별 GPU 자원 산출 데이터

어떤 등급의 오픈소스 AI 모델을 서빙(vLLM, SGLang 등 활용)하느냐에 따라 필요한 GPU 장비는 천차만별로 달라집니다. 가장 대표적인 3가지 시나리오입니다.

1. 시나리오 A: 초경량 특화 모델 (예: DeepSeek-8B, Llama-3-8B)

적용 분야: 사내 지식 기반 챗봇(RAG), 정형화된 단순 안내 및 QA 서비스

• 필요 GPU: NVIDIA L40S (48GB) 약 16대 또는 A100 (80GB) 약 8대

• 산출 근거: 8B(80억 매개변수) 모델은 가볍기 때문에 가중치 압축(양자화)을 적용하면 GPU 1대당 약 100~150명의 동시 추론을 묶어서(Batching) 처리할 수 있습니다. L40S 4대가 장착된 서버 4대 정도로 구성이 가능합니다.

• 비용 수준: 가성비가 가장 뛰어나며, 클라우드 대여 시 월 약 800만 ~ 1,200만 원 선에서 인프라 유지가 가능합니다.

2. 시나리오 B: 중형 고성능 모델 (예: DeepSeek-32B, Qwen-32B)

적용 분야: 정교한 계약서 요약, 전문적인 고객 상담, 심층 문맥 이해가 필요한 엔터프라이즈 사양

• 필요 GPU: NVIDIA H100 (80GB) 약 16대 (또는 최신 H200 8대)

• 산출 근거: 32B급 모델은 대화가 길어질 때 문맥을 기억하는 메모리(KV Cache) 부하가 급격히 커집니다. 고성능 추론 엔진 기준으로 H100 1장당 안정적인 속도를 보장하며 감당할 수 있는 동시 요청은 약 60~70개입니다. 따라서 1,000명을 수용하려면 8장짜리 H100 서버 2대(총 16장)가 필요합니다.

• 비용 수준: 중대형 비즈니스의 표준 사양이며, 클라우드 비용은 월 약 4,000만 ~ 6,000만 원 수준입니다.

3. 시나리오 C: 초거대 플래그십 모델 (예: DeepSeek-R1, 오픈소스 671B)

적용 분야: 전문 의료·법률 상담, 복잡한 개발 코딩 디버깅 등 최고 수준의 '추론형 AI'

• 필요 GPU: NVIDIA H100 (80GB) 약 128대 이상

• 산출 근거: DeepSeek-R1 같은 6710억 매개변수의 거대 MoE(혼합 전문가) 모델은 모델을 정상 구동하는 데만 최소 H100 8장(1개 노드)이 기본으로 묶여야 합니다. 1개 노드가 감당하는 동접 수가 60~80명 선이므로, 1,000명을 안정적으로 밀어내려면 무려 16개 노드(총 128장)의 거대한 인프라 팜이 필요합니다.

• 비용 수준: 일반 기업이 독자 구축하기에는 비용 장벽이 매우 높으며, 월 수억 원 단위의 인프라 비용이 발생합니다.

⚙️ GPU가 끝이 아니다! 백엔드 및 시스템 자원 아키텍처

실제 상용 서비스를 안정적으로 운영하려면 GPU 외에도 트래픽을 받아줄 백엔드 아키텍처가 촘촘하게 받쳐주어야 합니다.

• 웹/API 애플리케이션 서버 (예: FastAPI, Node.js): 1,000개의 커넥션을 실시간 스트리밍(SSE)으로 끊김 없이 유지해야 하므로, 비동기 처리에 강한 서버가 필수적입니다. (AWS 기준 c6i.4xlarge급 약 4~6대 분산 구성)

• 고속 세션 서버 (Redis): 유저들의 직전 대화 턴(Turn) 기록을 실시간으로 읽고 쓰기 위한 인메모리 DB가 필요합니다. (메모리 64GB 이상 대형 VM 2대 복제 구성)

• 벡터 데이터베이스 (Vector DB): 사내 문서를 참조하는 RAG 시스템 구축 시, 문서 임베딩 값을 빠르게 검색할 Milvus나 Pinecone 같은 벡터 DB 노드가 매칭되어야 합니다. (RAM 128GB 이상 서버 2대 기본)

* 인프라 아키텍트의 현실적인 제언: "하이브리드가 답이다"

만약 내일부터 당장 동접 1,000명 규모의 상용 서비스를 런칭해야 한다면, 처음부터 이 모든 GPU 장비를 온프레미스로 구매하거나 고정 클라우드로 계약하는 것은 초기 자본 지출(CAPEX) 리스크가 너무 큽니다.

가장 현명한 아키텍처는 '하이브리드형 라우팅'입니다.

1. 평상시 기본 베이스 트래픽은 가성비와 효율이 검증된 [시나리오 B: 32B 모델 + H100 16장]의 자체 인프라로 소화합니다.

2. 마케팅이나 이벤트로 인해 트래픽이 폭발하여 동접 1,000명을 넘어서는 피크 타임에는, OpenAI나 DeepSeek 공식 상용 API(토큰당 과금 파이프라인)로 트래픽을 즉시 우회시키는 클라우드 버스팅(Cloud Bursting) 구조를 설계하는 것입니다.

알고리즘을 혁신해 장비 규모를 대폭 줄인 딥시크의 사례처럼, 이제 AI 서비스의 성패는 무조건 비싼 장비를 많이 사는 것이 아니라 '얼마나 정교하게 최적화된 인프라를 설계하느냐'에 달려 있습니다.