Upstage AI Research Engineer 인턴 후기

작년(2025년) 네이버 부스트캠프의 인연으로, 정말 꼭 일해보고 싶었던 회사인 Upstage에서 6개월간 인턴으로 일해볼 기회가 생겼었다. 인턴 기간은 2025년 5월부터 11월까지였다. 인턴 회고를 언젠가 블로그에 적어야지 생각만 하다가, 거의 1년이 지난 지금에서야 작성한다.

Upstage에 대한 이끌림

나는 AI를 좋아하지만, 그중에서도 LLM을 가장 좋아한다. 대학 시절부터 특정 목적의 AI보다 범용 AI에 관심이 많았던 나로서는 범용으로 쓸 수 있는 LLM의 매력에 빠져버렸었다.

LLM이 한창 이슈가 되고 있지만, 기존 딥러닝 모델들과 다르게 LLM은 너무나도 크고 직접 개발하기 어려운 모델이다. 그렇다 보니 국내에서 LLM을 직접 만드는 회사는 소수였다. 그중 Upstage는 Solar라는 자체 LLM을 만들고, OpenAI나 Anthropic처럼 만든 모델을 API로 대중에게 제공하고 있었고, 이게 내게는 정말 매력적으로 보였다.

물론 당시에도 다른 대기업들이 자체 LLM을 만들고 있었다. 하지만 대부분 내부적으로만 쓰거나 대중이 쓰기에는 사용성이 좋지 않았고, 이렇게 모델 Provider 같은 느낌으로 다가오는 기업은 Upstage가 제일이었다.

부스트캠프의 채용연계

나는 당시 네이버 부스트캠프 7기 NLP 트랙에서 교육을 받고 있었다. 부스트캠프의 마지막 과정은 기업 연계 해커톤이었는데, 이때부터 Upstage와의 인연이 시작되었다.

해커톤에서는 Solar Mini를 사용해서, 하루 동안 받은 이메일을 에이전틱 루프로 반복 성찰하며 아침 브리핑을 만들어주는 Chrome Extension인 매일메일을 만들었었다.

이 경험을 살려 수료 후 부스트캠프 채용연계로 열린 Upstage 체험형 인턴 공고에 지원했고, 운 좋게도 합격하게 되었다.

웰컴 키트와 복지

입사하자마자 받은 웰컴 키트다. 이때 맥북을 처음 써보게 되었는데, 이후 coding agent나 computer use처럼 AI 에이전트를 생활과 업무에 활용하다 보니 맥이 윈도우보다 압도적으로 편해서 아예 맥으로 넘어오게 되었다. 계약 종료 후 쓰던 맥북은 반납했지만, 새로 하나 사서 열심히 쓰고 있다. 받은 티셔츠도 잘 입고 있다.

Upstage는 따로 사옥이 없는 완전 재택근무 회사다. 하지만 우리 부서는 고객사로 출장을 갈 일이 많고 팀끼리 만나서 회의할 일도 많아서, 재택근무를 제대로 누리지는 못했다.

그래도 복지는 많았다. 먼저 카페 지원이 무제한이었다. 재택근무라도 실제로 집에서 일하려고 하면 집중하기가 쉽지 않은데, 이를 배려해서 근무 시간에 카페에서 일할 수 있도록 카페 비용을 지원해줬다.

도서 구매비도 지원해줘서, 일하다 막히는 개념이 있으면 부담 없이 책을 사서 공부할 수 있었다.

맡은 업무

내가 합류한 팀은 Enterprise Business 부서의 AI Model Production 팀이었다. 다른 기업에서 프로젝트를 수주받아, 고객사의 요구사항에 맞게 LLM을 적용하고 지원하는 B2B 조직이다. DevOps, AI Modeler, 서비스 개발 역할이 나뉘어 있었고, 우리 팀은 그중 모델 쪽을 맡았다.

사실 입사 전에 생각했던 업무와는 조금 달랐다. LLM만 가지고는 결국 다음 토큰 예측기에 불과하니, 나는 Solar를 활용해서 실제 다양한 문제를 해결하는 제품을 만들고 싶었다. 이를테면 Codex나 Claude Code 같은 에이전틱 도구를 만들고 싶었던 것 같다. 채팅 시스템의 사용자 경험을 더 좋게 만들고, 세션마다 샌드박스 환경을 설계해서 툴 사용, 코드 작성 및 실행, 웹 검색과 이에 대한 context engineering까지 다뤄보는 그런 일 말이다.

하지만 이런 일은 제품 조직의 영역이었고, 우리 팀은 AI 모델에 대한 성능 평가와 실험, 그리고 이를 통한 개선 실험이 주된 업무였다. 물론 여기서도 많이 배웠다.

성능 평가

옛날 같았으면 성능 평가를 해야 하니 일단 벤치마크부터 뒤적이고, 의미 없는 평가 세트를 만들었을 수도 있다. 이제는 먼저 문제 정의를 명확히 하고, 이를 바탕으로 해당 문제에 맞는 고품질 평가 데이터를 만들어야 한다는 걸 배웠다.

어차피 LLM의 지능은 학습 시점에 고정된다. 그렇기에 지능을 평가하는 벤치마크보다는 모델이 헷갈려하는 지점을 찾아낼 수 있어야 한다. 모델이 종종 틀리는 부분에 대해 원인을 분석하고, 지침과 하네스를 개선하는 게 옳은 절차라는 걸 배웠다.

Function Calling

당시는 MCP가 막 나오면서 tool calling, function calling이 대두되던 시기였는데, 실무에서 function calling을 직접 설계하고 적용해볼 수 있었다.

특히 GPT나 Claude가 아닌 작은 모델에서 function calling이 얼마나 큰 부담인지 체감했다. (물론 1년이 지난 지금은 부담이 훨씬 적을 거다.) 이런 부담이 있을 때 agentic flow로 문제를 나눠 해결하는 방법을 찾아내기도 했었다.

실무 RAG

실무에서 RAG를 겪어본 게 아주 기억에 남는다. 토이 프로젝트 단계에서는 문서량도 적고 도메인 지식도 부족해서, 제대로 된 고난도 질문과 답변을 만들기가 쉽지 않다.

인턴 기간의 3분의 2는 금융 AI 프로젝트에 참여했었다. 실제로 만 오천 명이 넘는 사용자가 쓰는 금융 AI를 만들면서 정말 다양한 질문과 모델의 오류를 만났다. 도메인 전문가가 아니라면 정답 문서를 옆에 두고도 이게 틀린 건지 제대로 판단이 안 된다는 걸 절실히 체감했다. 클라이언트와 함께 이를 하나하나 조율하고 고쳐나가는 과정이 힘들었지만 보람찼다.

기업용 솔루션 초기 설계

남은 3분의 1 기간에는 앞선 경험을 바탕으로 사내에서 만들던 기업용 솔루션의 초기 설계와 개발에 참여할 수 있었다. 발전해나가는 LLM과 Agent System에 맞춰 AI Engineer가 직접 context engineering을 할 수 있는 발판을 만드는 일이었고, 최신 agentic loop와 메모리 시스템의 틀을 구상했었다.

아쉽게도 인턴 계약 기간이 끝나 완성품을 보지 못한 채로 나오게 되었다. 계약 종료 직전까지 협력사와 직접 연락해가며 API 스펙을 조율하고, 겨우 인수인계를 마치고 나왔었는데 정말 의미 있는 경험이었던 것 같다.

돌이켜 보면

처음에는 그저 AI, LLM을 하는 기업이라면 무슨 일을 하든 좋을 거라 생각했던 것 같다. 6개월 동안 인턴을 하면서 내가 정말로 원하는 게 뭘까 고민을 많이 하게 되었고, 나는 개발을 좋아하는 사람이라는 걸 절실히 느꼈다.

최근에는 하네스 엔지니어링 등 LLM 엔지니어의 영역이 개발 쪽으로 크게 확장되었음을 느낀다.

인턴 이후 근황

인턴 종료 후 휴식기를 가지면서, 이런 관점에서 AI를 극한으로 활용해보고 싶어 나만의 AI 개인비서를 만들었다.

막상 만들고 나니 주변 반응이 꽤 좋아서, 이를 누구나 사용할 수 있는 개인비서 하네스 시스템으로 일반화해 Lifebase라는 제품으로 만들었다. 지금은 이를 기반으로 지인들에게 AI 활용법을 알려주며 서비스를 해나가고 있다.

앞으로

이제는 휴식기를 끝내고 다시 직장을 구하려고 한다.

이런 경험을 토대로 AX 부서에 합류해서, 변화하는 AI 생태계에 맞게 기업 내에 AI를 도입하고, 업무를 AI와 함께 처리할 수 있는 기반을 만들고, 반복되는 절차들을 AI로 해결할 수 있도록 만드는 일을 하고 싶다.