이 단어를 보면 누군가는 최근의 반도체와 메모리 산업 호황을 떠올릴 것이고,
또 누군가에게는 좋아하는 게임을 높은 해상도와 부드러운 프레임으로 즐기기 위한 컴퓨터 부품을 떠올릴 수도 있습니다.
이처럼 GPU는 상황에 따라 꽤 다양한 모습으로 사용됩니다.
회사가 GPU 서버를 도입한다고 하면 어떨까요?
아마 대부분은 AI를 위한 투자, 그 중에서도 새로운 AI 모델을 직접 학습하기 위한 장비라고 생각할 것입니다.
저희도 처음에는 같은 이유로 GPU 도입을 검토하기 시작했습니다.
그리고 GPU 서버가 생기면 곧바로 자체 AI 기술을 개발할 수 있을 것이라고 기대했습니다.
하지만 실제로 GPU가 들어온 뒤 실제 학습을 시작하기까지 정말 많은 노력이 필요하다는 사실을 알게 되었습니다.
이 글은 GPU 서버만 생기면 곧바로 AI 개발의 꿈이 펼쳐질 것이라고 생각했던 DBpia의 AI 엔지니어들이
데이터 장벽, 비용 폭주, 전력 부족이라는 좌절을 이겨낸 이야기입니다.
제목없음
GPU를 사려고 했던 최초의 이유
저는 누리미디어 최초의 AI 엔지니어로 입사했습니다.
신기하게도 제 입사일은 DBpia 최초의 자체 개발 AI 서비스인 ‘AI 검색’의 정식 오픈일이기도 했습니다.
일주일간의 온보딩이 끝나자마자 저는 막 출시된 서비스를 운영하고 개선하는 업무에 투입됐습니다.
하지만 당시 검색 시스템은 오랫동안 키워드 검색을 중심으로 운영해 온 구조였습니다.
AI 서비스가 요구하는 수준의 검색 결과는 아무리 많은 비용과 인력을 투자해도 결코 의미 기반 검색과는 좁힐 수 없는 상당한 간극이 있었습니다.
서비스는 이미 문을 열었고, 사용자는 들어오고 있었으며, 검색 품질은 당장 개선해야 했습니다.
이를 위해서 의미기반 검색을 구축하기 시작하는데, 사내에는 GPU 서버가 한 대도 없었고 AI 엔지니어용 데스크톱에는 RTX 4060 Ti가 장착되어 있었습니다.
여러 오픈소스 임베딩 모델을 테스트 할 때마다 본체 뚜껑을 열고 선풍기로 식혀가면서 수행하던 열악한 장비였습니다.
수백만 건의 논문을 다루는 서비스를 개발하고 장기적으로 고도화할 것까지 고려했을 때 GPU가 없으면 안 되겠다는 생각이 들었습니다.
“자체 검색 기술을 만들려면 GPU가 있어야 합니다.”
“이번에는 정말 GPU 사야 합니다.”
“GPU 없으면 저 진짜 일 못합니다.”
GPU가 필요하다는 말을 아마 안녕하세요, 보다 많이 했을 수도 있습니다.
그 뒤 약 두 달 동안 GPU 서버의 필요성을 설명하는 문서를 CTO님과 열심히 작성하며 무한 피드백을 거친 결과
① 어떤 모델을 사용할 것인지
② GPU가 없으면 무엇이 어려운지
③ 클라우드와 직접 구매 중 어떤 방식이 적합한지
④ 비용과 운영 측면에서는 어떤 차이가 있는지를 정리했습니다.
그리고 마침내 L40S GPU 4장으로 구성된 첫 번째 사내 GPU 서버를 구축하게 됐습니다.
제목없음
GPU가 도착했습니다. 이제 학습만 하면 될까요?
첫 번째 GPU 서버에 장착된 L40S는 장당 48GB의 VRAM을 갖춘 장비였습니다.
당시 사내 AI 엔지니어가 두 명이었다는 점을 생각하면, 숫자만 봤을 때는 제법 넉넉해 보였습니다.
이제 꿈에 그리던 GPU 서버가 생겼으니 임베딩 모델도 학습하고, 리랭커도 만들고,
DBpia의 학술 데이터에 특화된 의미 기반 검색을 본격적으로 만들어갈 계획이었습니다.
하지만 모델을 학습하기 전에 저희를 기다리고 있던 진짜 장애물이 있었습니다.
바로 데이터였습니다.
제목없음
첫 번째 좌절: 데이터인데 못 쓰는 데이터
누리미디어에는 많은 데이터가 있습니다.
논문 플랫폼 회사인 만큼 계약을 통해 보유한 논문만 해도 수백만 편에 달합니다.
그런데 결정적인 문제는 논문이 있다고 해서 그 논문을 AI가 곧바로 사용할 수 있는 것은 아니었다는 것입니다.
PDF가 이미지로만 구성된 경우도 있었고, 텍스트가 추출되더라도 문단 구조가 무너지는 경우가 있었습니다.
초록이 누락된 논문도 있었으며, 참고문헌과 본문의 구분이 일정하지 않은 문서도 있었습니다.
사람에게는 읽을 수 있는 논문이지만 AI의 관점에서는 쓸 수 없는 데이터에 가까웠습니다.
결국 가장 먼저 해야 했던 일은 수백만 편의 논문을 AI가 읽고 검색하고 인용할 수 있는 형태로 바꾸는 것이었습니다.
요즘 표현으로 말하면 ‘AI-Ready Data’를 만드는 일에 이렇게 돌입하게 됩니다.
제목없음
AI-Ready Data Step 1: 사라진 초록을 찾아서
시점을 약간 돌려서, 자체 의미 기반 검색 프로젝트가 어느 정도 마무리될 무렵이었습니다.
L40S 서버를 받고 이제 세팅이 마무리 되는 시점에 저희는 임베딩 모델 학습을 다음 단계로 준비하고 있었습니다.
그때 기존 AI 검색의 다음 세대인 AI Agent 서비스를 빠르게 출시해야 하는 일정이 긴급하게 잡히며 사건이 발생하였습니다.
“이 논문들은 왜 초록이 없나요?”
“초록이 없으면 답변에서 인용하기 어려운데요?”
과거에 등록된 논문이나 일부 데이터에는 초록이 누락되어 있었습니다.
AI Agent가 논문의 내용을 파악하고 적절하게 인용하려면 최소한 초록 정보가 필요했습니다.
저희가 만난 첫 번째 대규모 데이터 미션은 ‘누락된 초록 추출하기’였습니다.
논문 첫 페이지를 VLM으로 읽고, 초록 정보를 오타 없이 정확하게 추출하는 작업을 시작했습니다.
문제는 서비스 출시 전까지 약 2개월 만에 대상 문서의 처리를 끝내야 한다는 일정이었습니다.
결국 임베딩 모델 학습 스케줄은 백로그로 들어가며, 사용 가능한 GPU 자원이 초록 추출 작업에 집중 투입됐습니다.
8월부터 10월까지 꼬박 3개월 간 모든 GPU 자원은 초록 추출에 할당하였습니다.
그 사이에 심지어 GPU 장비 고장까지 겪으며, 당시 상황은 짧은 글 하나로 설명하기에는 너무 많은 이야기가 있습니다.
언젠가 이 과정을 실시간으로 함께 겪었던 인프라 담당자의 글에서 더 자세히 소개할 수 있을 것 같습니다.
결국 추석 전후로 초록 추출 작업을 마무리했고, 4분기에 접어들면서 이제 백로그에 넣어놨던 임베딩 모델 학습을 목전에 두게 되었습니다.
제목없음
AI-Ready Data Step 2: 300만 건의 OCR 미션
이번에는 더 무지막지한 과제가 주어졌습니다.
바로, DBpia에서 서비스되는 논문 중 PDF를 보유한 논문 전체를 다시 OCR 처리하여 원문을 확보하자는 것이었습니다.
처리 대상은 300만 건이 넘었고, 기간은 11월부터 12월까지, 사실상 두 달이었습니다.
갑. 분. 미.
갑자기 분위기가 미션 임파서블이 되어서 방법을 갈구하던 저희는 결국 GPU를 더 빌리기로 했습니다.
그래서 추가로 클라우드에서 H100 GPU 8장을 확보했고, 내부 L40S 일부를 포함해 최대 10장 규모의 GPU를 약 한 달 반 동안 운영했습니다.
실제로 12월까지 300만건이 넘는 논문 OCR을 완료하였고, NLP 전문가로 입사했던 AI 엔지니어는 듬직한 OCR 전문가가 되어 있었습니다.
OCR을 얼마나 오래 들여다봤는지, 이후 테크 블로그에 OCR 기술을 주제로 별도의 글까지 작성했을 정도입니다. (▶보러 가기)
이런 과정을 겪으며 데이터 추출 업무가 얼마나 중요한지, 이 분야가 얼마나 크고 지속적인 영역인지를 깨달았습니다.
그래서 해당 작업이 마무리 될 때, 멀티모달 분야를 담당할 AI 엔지니어가 새롭게 합류했습니다.
제목없음
AI-Ready? Go!
OCR이 끝난 뒤 AI 서비스가 할 수 있는 기능의 범위는 눈에 띄게 넓어졌습니다.
첫 GPU 서버를 구매할 때부터 언젠가 구현하고 싶다고 이야기했던 ‘논문 본문 의미 기반 검색’을 실제로 만들 수 있게 됐습니다.
검색 결과를 논문의 페이지 및 좌표 정보와 연결해, AI 서비스의 문서 뷰어에서 관련 문장을 박스 단위로 바로 강조하는 기능도 구현했습니다.
논문 본문 의미 기반 검색 기능
플랫폼에 보관되어 있던 PDF가 검색할 수 있는 텍스트가 되었고, 다시 AI가 인용하고 설명할 수 있는 지식 자산으로 바뀌기 시작한 것입니다.
이외에도 DBpia 플랫폼에서도 해당 자료를 활용한 다양한 PoC를 기획하고 있으며,
DBpia AI에서는 이 때 쌓은 OCR 노하우를 활용해서 AI Reader 서비스까지 적용하였습니다.
DBpia AI Reader
제목없음
AI-Ready Data 작업으로 회귀하기
여기까지 읽으셨다면 이제 저희가 드디어 AI 모델을 학습했을 것이라고 생각하실 수 있습니다.
하지만 생각보다 그렇게 호락호락하지 않았습니다.
이번에는 초록 추출의 그 다음 버전, 참고문헌 추출이 기다리고 있었습니다.
‘참고문헌 추출’이란 논문의 참고문헌에서
제목, 저자, 학술지명, 발행연도와 DOI(Digital Object Identifier, 디지털 객체 식별자)를 정확히 추출하는 작업입니다.
이는 식별자를 추출해야 하기 때문에 오타에 치명적인 영향을 받는 작업이었습니다.
참고문헌은 형식이 일정하지 않고 작은 오타에도 매칭 결과가 크게 달라지기 때문에,
다시 VLM을 활용하여 30B 이상의 사이즈를 활용한 대규모 추출 작업이 진행됐습니다.
GPU 자원은 다시 데이터 처리 업무에 투입됐고, 백로그에서 나오던 임베딩 모델 학습은 다시 한번 저 밑바닥으로 가라앉았습니다.
제목없음
두 번째 GPU 서버가 들어오다
그렇게 초록, OCR, 참고문헌이라는 데이터 추출 강점기를 겪고 있는 AI 엔지니어들에게 구원의 빛이 비추었습니다.
누리미디어 서버실에 두 번째 GPU 서버가 들어오게 된 것입니다!
이번에는 H200 GPU 4장으로 구성된, 당시 기준으로도 최고 수준의 서버였습니다.
2026년 4월부터 운영을 시작한 GPU 도입기에서 드디어 여유 자원이 생긴 순간이었습니다.
“이제는 정말 모델을 학습할 수 있겠다.”
물론 그 생각은 시작과 동시에 파국을 맞이했습니다.
제목없음
AI 아포칼립스 1: 청구서의 폭주
H200 서버가 들어온 시기는 누리미디어 GPU 운영 역사에서 가장 파란만장한 시기 중 하나였습니다.
우선 API 비용이 빠르게 증가했습니다.
당시 외부 API를 사용해 대량의 논문 요약과 번역을 생성하고 있었는데, 처리량이 늘어나면서 비용도 예상보다 훨씬 빠르게 커졌습니다.
결국, 결제 한도와 관련된 경고 메일이 오기 시작했고, 일부 배치 작업을 즉시 중단해야 했습니다.
저희는 막 서버실에 들어온 H200을 곧바로 세팅하여 당시 공개된 오픈소스 LLM 중 성능 벤치마크가 좋은 30B급 모델을 선정해
자체 서빙 환경을 구성했습니다.
그리고 약 1,200만 건 규모의 요약 및 번역 생성 작업을 외부 API 대신 내부 오픈소스 LLM으로 처리하기 시작했습니다.
그 결과 H200 4장은 4월과 5월 내내 요약과 번역을 생성하는 데 사용됐습니다.
과연 백로그에 빠져 있는 임베딩 모델 학습은 있을지 기약 없는 기다림의 연속이었습니다.
제목없음
AI 아포칼립스 2: 블랙아웃
6월이 되어서야 AI 엔지니어들이 기다리던 모델 학습을 시작할 수 있을 것처럼 보였습니다.
하지만 역사는 반복된다고(...) L40S 서버를 샀을 때 장비고장을 겪은 것처럼 이번에는 전력 문제로 장비 고장이 발생하였습니다.
GPU 서버가 높은 부하로 동작하자 서버실의 전력 구성에 문제가 발생했고, 서버가 갑자기 종료되기 시작했습니다.
문자 그대로 블랙아웃이었습니다.
서버도 까매졌고, 모니터도 까매졌고, 상황을 지켜보던 저희 표정도 함께 까매졌습니다.
다시 인프라 담당자의 긴급 대응이 시작되었고, AI엔지니어와 인프라 담당자의 고군분투 시즌 2가 열렸습니다.
각고의 노력 끝에 전력과 장비 구성을 재검토하고 안정화 작업을 거쳐 7월에 와서야 H200 서버를 정상적으로 운영할 수 있게 됐습니다.
제목없음
마침내
그리고 이 글을 작성하는 2026년 7월, 저희는 마침내 본격적인 임베딩 모델 학습을 시작했습니다.
첫 번째 GPU 구매를 검토하기 시작한 2025년 4월부터 계산하면 약 1년 3개월이 걸렸습니다.
1년 3개월의 여정
GPU를 사면 곧바로 모델을 학습할 수 있을 것이라고 생각했지만, 실제로 그전에 해결해야 할 일은 훨씬 많았습니다.초록이 없는 논문에서 초록을 찾아야 했고, 이미지 형태의 PDF를 OCR로 읽어야 했으며, 참고문헌을 구조화해야 했습니다.외부 API 비용이 폭주하자 오픈소스 모델을 직접 서빙해야 했고, GPU 서버를 안정적으로 운영하기 위한 전력과 인프라도 다시 준비해야 했습니다.
전통적인 데이터 플랫폼 기업이 AI 기업으로 변화한다는 것은 AI 기능 하나를 서비스에 추가하거나 GPU 서버 몇 대를 구매하는 것으로 끝나지 않습니다. 회사가 보유한 콘텐츠를 AI가 활용할 수 있는 데이터로 바꾸고, 새로운 모델을 직접 평가하며, 대규모 추론을 운영하고,그 결과를 다시 실제 서비스에 연결할 수 있어야 합니다.
저희는 아직 그 변화의 중간에 있습니다. 앞으로도 새로운 모델, 새로운 데이터, 새로운 인프라 문제를 계속 만나게 될 것입니다.아마 지금은 상상조차 하지 못한 장애물도 기다리고 있을 수 있습니다.
그래도 지금까지 그랬던 것처럼 저희는 앞으로도 하나씩 해결해 나갈 생각입니다.
누리미디어가 데이터 플랫폼에서 AI 기업으로 변화해가는 다음 이야기도 기대해 주세요.
