GPU 서버 가격보다 먼저 계산해야 할 청구서
C레벨 임원이 수천만 원대 GPU 서버 견적을 보고 묻는다. ‘같은 GPU를 조립해서 쓰면 반값 아닌가요?’ 조달 담당자는 부품표를 다시 펼치지만, 머릿속에는 다른 장면이 겹친다. 메인보드 오류가 발생하고, 엔지니어는 제조사마다 다른 창구에 문의하며, 개발팀은 학습 작업을 멈춘다. 이 질문의 핵심은 부품 가격이 아니라, 장애가 발생했을 때 누가 얼마나 빨리 복구하느냐에 있다. 처음 아낀 금액보다 멈춘 시간의 비용이 커지는 순간이다.
GPU 서버 조립식과 대기업 완제품의 차이는 GPU 성능표에서 끝나지 않는다. 조립식은 부품별 가격과 구성을 직접 최적화하기 좋다. 완제품은 서버 본체, 펌웨어, 냉각, 전원, 진단 도구, 보증 절차를 하나의 운영 체계로 묶는다. 같은 H100이나 RTX 4090을 넣더라도, 장애가 났을 때 누가 원인을 좁히고 어떤 창구가 부품 교체를 책임지는지가 달라진다.
판단 기준은 세 가지다. 첫째, 서버가 멈췄을 때의 시간당 손실액. 둘째, 내부에서 하드웨어와 CUDA 환경을 함께 진단할 인력의 유무. 셋째, 장애 부품을 특정하고 교체할 수 있는 지원 창구다. 이 세 항목에서 조직의 대응력이 낮다면, 초기 가격 차이는 보험료가 아니라 운영비의 일부로 봐야 한다.
부품 보증과 서버 보증은 같은 말이 아니다
부품 보증은 그래픽카드, 메모리, 전원공급장치처럼 개별 부품의 교환 범위를 다룬다. 서버 보증은 그 부품들이 특정 섀시와 펌웨어, 냉각 구조 안에서 함께 동작하는 상태를 진단하고 복구하는 책임까지 포함한다. 이 둘을 같은 것으로 계산하면, 장애 원인 확인에 걸리는 시간이 견적서에서 사라진다.
예를 들어 GPU는 인식되지만 학습이 중단되는 상황을 생각해보자. 원인은 GPU 자체가 아니라 PCIe 링크, 전원 공급, 메모리 오류, BIOS 설정, 드라이버와 CUDA 조합 중 하나일 수 있다. 조립식에서는 각 부품 판매처와 조립 업체, 소프트웨어 담당자가 서로 다른 답을 내놓기 쉽다. 완제품은 적어도 하드웨어 플랫폼의 진단 책임을 한 곳에 묶을 수 있다.
구분하지 않으면 비용이 두 번 샌다. 첫 번째는 엔지니어가 원인을 찾는 시간이고, 두 번째는 책임 소재가 정리될 때까지 개발팀이 대체 작업을 기다리는 시간이다. 부품 단가표에는 이 지연이 표시되지 않지만, 법인 의사결정에서는 반드시 별도 항목으로 올려야 한다.
전력과 냉각은 구매 이후에 생기는 두 번째 견적서
H100급 GPU 서버는 책상 옆에 놓고 전원만 연결하는 장비가 아니다. NVIDIA H100은 데이터센터용 GPU이며, 공식 자료는 PCIe Gen5, 4세대 NVLink(900 GB/s), NDR Quantum-2 InfiniBand를 지원한다고 설명한다. 또한 H100급 다중 GPU 서버는 구성에 따라 수 kW에서 10kW대까지 전력을 요구할 수 있어, 전력 인입, 랙, 항온·항습, 냉각, 소음, 네트워크를 함께 확인해야 한다.
이 지점에서 조립식의 가격 우위가 줄어든다. 부품 견적이 낮아도 전원 용량이 부족하면 증설 공사가 필요하고, 냉각이 따라오지 않으면 GPU 클럭 저하와 작업 중단이 발생한다. RTX 4090은 NVIDIA 기준 TBP 450W급이므로, 카드 수와 상시 부하에 따라 PSU 용량, 랙 전력, 발열 배출 조건을 별도로 계산해야 한다. 카드 수, 서버 섀시, 전원공급장치, 상시 부하가 실제 조건을 결정한다.
견적서에 서버 가격만 있고 전력·냉각·랙·원격 관리 비용이 없다면 아직 비교가 끝난 것이 아니다. 최소한 설치 장소의 전원 용량과 냉각 방식, 소음 허용 범위, 장애 시 현장 접근 시간을 한 장의 문서에 적어야 한다.
조립식이 더 나은 조건도 분명히 있다
조립식 GPU 서버가 맞는 조직은 따로 있다. 내부에 서버를 직접 만질 인력이 있고, 장애가 나도 외부 지원 없이 1차 복구가 가능하며, 워크로드가 연구·개발 단계라 구성을 자주 바꿔야 한다면 조립식의 유연성이 비용을 만든다. 특정 섀시와 전원 구조를 고정하지 않고 GPU, 메모리, 스토리지를 목적에 맞게 조절하기도 쉽다.
가령 모델 학습을 주기적으로 돌리는 연구팀이 여분 노드와 자체 이미지를 갖고 있다면 한 대의 장애가 전체 서비스 중단으로 이어지지 않는다. 이 경우 완제품의 지원 비용보다 구성 자유도와 부품 교체성이 더 중요한 판단 기준이 된다. 다만 조립 업체의 테스트 범위, 부품별 보증 기간, BIOS와 드라이버 기준 버전은 계약서에 남겨야 한다.
조립식 선택의 핵심은 싸게 사는 능력이 아니라 멈췄을 때 직접 복구할 능력이다.
완제품이 비싸도 손익분기점이 빨리 오는 조직
반대로 GPU 서버가 유료 서비스, 사내 핵심 모델, 실시간 추론 시스템을 맡는다면 완제품의 의미가 달라진다. 서버 한 대의 중단이 매출 손실이나 계약상 대응 의무로 이어지고, 내부에 하드웨어 장애를 전담할 인력이 없다면 단일 지원 창구와 진단 체계가 구매 비용에 포함된다.
설명을 위한 가상의 예시로 계산해보자. 아래 계산은 예시다. 귀사의 시간당 손실액이 150만 원이고, 조립식과 완제품의 초기 가격 차이가 1,500만 원이라고 가정하면, 장애 한 번으로 복구가 10시간 빨라졌을 때 회피한 손실은 1,500만 원이다. 실제 견적이 아니라 의사결정용 시뮬레이션이므로, 조직은 자신의 시간당 손실액과 예상 복구 시간을 넣어 다시 계산해야 한다.
계산 순서는 간단하다. 시간당 중단 비용에 연간 예상 장애 횟수와 지원 방식별 평균 복구 시간을 곱한다. 여기에 내부 엔지니어의 장애 대응 시간을 인건비로 더한다. 완제품의 가격 차이가 이 합계보다 작다면, 부품 단가가 높은 것이 아니라 리스크를 선지급하는 구조에 가깝다.
GPU 서버 가격을 승인받아야 한다면 ‘왜 비싼가’보다 ‘어떤 복구 책임이 포함되는가’를 견적서 옆에 붙이는 편이 설득력이 높다.
구매 전 30분 점검표와 최종 선택 기준
구매 전에는 세 질문을 고려해야 한다.
① 장애가 발생하면 첫 연락처가 한 곳인가.
② 하드웨어, 펌웨어, 드라이버, CUDA 중 어디까지 지원 범위인가.
③ 부품 교체와 현장 대응의 목표 시간이 문서에 적혀 있는가.
답이 비어 있으면, 완제품이든 조립식이든 아직 기업용 견적이 아니다.
그다음 워크로드를 나눈다.
대규모 학습과 GPU 간 통신이 핵심이면 GPU 인터커넥트와 서버 플랫폼 검증 결과를 우선한다. 단일 GPU 추론이나 개발 환경이면 VRAM, 스토리지, 네트워크, 컨테이너 재현성이 먼저다. H100과 RTX 4090을 이름만으로 비교하면 이 구분을 놓치게 된다. H100은 데이터센터용으로 PCIe Gen5와 4세대 NVLink, NDR InfiniBand 확장 구조를 전제로 하고, RTX 4090은 소비자용 450W TBP 카드다. 따라서 비교 기준은 단순 성능이 아니라 전력, 냉각, 지원 창구, 장애 복구 책임이어야 한다.
① 내부 장애 대응 인력과 대체 자원이 있고 실험 구성이 자주 바뀐다면 → 조립식.
② 중단 비용이 크고 지원 책임을 내부에 둘 수 없다면 → 엔터프라이즈 완제품.
③ 두 조건이 섞였다면 핵심 서비스 노드는 완제품으로, 연구·개발용 노드는 조립식으로 분리하는 방식이 현실적이다.
최종 결재 전에는 부품가, 시설비, 운영 인건비, 장애 시 손실액을 한 표에 놓고 비교하라. 그 표에서 가장 큰 숫자가 서버 가격이 아니라 다운타임이라면, 선택 기준은 이미 정해져 있다.