이재성 트웰브랩스 대표. 오승현 기자

"영상 분야에서 ‘챗GPT 모멘트’를 만들겠습니다.”

이재성 트웰브랩스 대표는 최근 서울 용산구 아시아태평양(APAC) 지사에서 서울경제신문과 만나 “세상에서 아무도 만들지 못한 인공지능(AI) 모델을 개발하고 있다”며 이같이 밝혔다.

2021년 미국 샌프란시스코에서 설립된 트웰브랩스는 영상을 이해하는 데 특화한 AI 모델을 개발하는 스타트업이다. 국내에서는 미개척 분야인 영상 이해 AI에서 선구적인 역할을 하고 있다. 설립 초기부터 영상 이해 AI 모델 ‘마렝고’와 영상 언어 생성 AI 모델인 ‘페가수스’를 개발해 주목을 받았다. 동영상 시대의 시작을 알린 첫 피사체가 말(馬)인 만큼 영상 이해 시대 새로운 지평을 열겠다는 포부로 AI 모델에 말과 관련된 이름을 붙였다. 마렝고는 영상 속 내용을 텍스트로 인식하고 영상 정보를 검색할 수 있는 AI다. 페가수스는 영상에 대한 요약, 하이라이트 생성 등 영상 기반 텍스트 생성 기능들을 갖춘 초거대 AI 영상 언어 생성 모델이다. 긴 영상을 마치 사람처럼 정확하고 정교하게 텍스트로 요약하거나 챗 GPT를 사용하듯 영상에 관한 자유로운 질의응답을 가능하도록 하는 등 이전에 존재하지 않았던 영상 기반 생성 기능들을 최초로 공개했다.

이재성 트웰브랩스 대표. 오승현 기자

트웰브랩스는 영상 AI 모델을 기반으로 스포츠, 미디어, 엔터테인먼트, 방산 등의 고객사를 확보했다. 캐나다의 스포츠엔터테인먼트사인 메이플 리프 스포츠&엔터테인먼트(MLSE)가 대표 고객사다. 국내에서는 세종특별자치시, 과학기술정보통신부, 한국인터넷진흥원과 함께 차세대 지능형 영상관제 실증사업을 진행하고 있다. 영상을 이해하는 트웰브랩스 모델을 활용하면 영상 검색, 장면 분류, 요약, 영상 클립 챕터 구분이 가능한 애플리케이션을 만들 수 있다. 콘텐츠 제작자는 또한 자연어 검색을 통해 영상 속에서 원하는 순간을 바로 찾을 수 있다.

트웰브랩스는 영상 이해 영역에서는 역량이 가장 뛰어나다고 자부한다. 오픈AI와 구글 등 빅테크가 영상 관련 AI를 고도화하고 있지만 트웰브랩스는 영상에 특화한 AI를 개발했다는 것이다. 이 대표는 “100명 가까이 되는 인력이 영상 이해 AI에 몰두하는 기업”이라며 “영상에 특화되어 있기 때문에 성능과 비용 측면에서 우월하다”고 강조했다.

빅테크들은 트웰브랩스의 기술력을 눈여겨보고 연이어 투자하며 화제가 되고 있다. 지금까지 투자 받은 금액이 1억 700만 달러(약 1530억 원)에 이른다. 2023년 10월 엔비디아와 삼성전자의 기업형 벤처캐피털(CVC) 삼성넥스트와 한국투자파트너스 등은 130억여 원 규모의 전략적 투자를 단행했다. 지난해 6월에도 엔비디아의 자회사 엔벤쳐스와 뉴엔터프라이즈어소시에이트(NEA)가 약 5000만 달러 규모(약 700억 원)의 리드 투자자로 나섰다. 같은해 12월에는 스노우플레이크와 데이터브릭스, SK텔레콤(017670), 허브스팟벤처스, 인큐텔 등이 3000만 달러(약 430억 원) 규모의 전략적 투자를 단행하며 새롭게 투자자로 합류했다. 시드 투자 때에는 세계적 AI 석학으로 꼽히는 페이페이 리 스탠퍼드 교수와 에이단 고메즈 코히어 최고경영자(CEO) 등도 참여했다. 이 대표는 “투자사와 투자가들은 영상 이해 영역이 매우 중요하다고 판단해서 가장 잘하는 기업과 협업하고 싶어 트웰브랩스를 선택했다고 생각한다”고 전했다.

이재성 트웰브랩스 대표. 오승현 기자

올해 트웰브랩스는 30개가량의 파트너사들과 협업에 속도를 낼 예정이다. 투자자인 엔비디아, SK텔레콤, 데이터브릭스, 스노우플레이크를 비롯해 아마존웹서비스(AWS)과 오라클 등도 주요 파트너다. SK텔레콤은 AI 비서의 영상분석 기능과 AI 관제시스템을 고도화하는데 트웰브랩스의 모델을 활용할 예정이다. 지난달 투자를 단행한 데이터브릭스는 트웰브랩스의 AI 모델을 활용해 자체 데이터 플랫폼 내 영상 분석 서비스를 고도화한다. 스노우플레이크는 기존 영상 분석 솔루션 효율화를 위해 트웰브랩스 기술을 활용한다. 이 대표는 “각 산업에서 성공 사례를 만들어 가는 게 목표”라고 전했다.

고객 산업군 영역도 확장하고 있다. 유럽의 자율주행 자동차 개발사와 미국의 로봇 개발사를 고객사로 확보했으며 일부 기업들과는 기술검증(PoC)을 진행하고 있다. 이 대표는 “고객사는 마렝고와 페가수스 등을 활용해 자율주행차를 개발하기 위한 데이터셋을 구축하고 있다”며 “AI 에이전트(비서)의 시각적 정보 등을 처리하는 뇌 모듈로도 활용되고 있다”고 말했다.

트웰브랩스는 10년 후에는 자사의 AI 모델이 전 세계에서 처리되는 전체 영상 데이터 가운데 두 자릿수 비율을 처리하는 기업이 되겠다는 목표를 세웠다. 카메라가 달린 기기에 자사의 AI 모델을 탑재해 실시간 영상 이해를 지원하겠다는 것이다. 실시간 영상 이해 역량도 고도화하고 있다. 이 대표는 “대한민국이 AI 주권을 확보하는데 기여하는 기업이 되겠다”며 “글로벌 시장에서 기술력을 입증받은 만큼 유니콘(기업가치 1조 원 이상의 비상장 기업)이 되는 것도 머지 않았다”고 강조했다.

트웰브랩스는 목표 달성을 위해 우수 인재 확보에도 주력하고 있다. 지난해 초 40명 수준이던 인력은 올 초 80명대 수준으로 늘었다. 수요가 증가하고 있기 때문이다. 인력의 70% 이상이 연구·개발자다. 지난해 11월에는 SK텔레콤 최고기술책임자(CTO)를 지내고 애플 ‘시리’ 서비스 개발에도 참여했던 김윤 최고전략책임자(CSO)를 영입했다. 트웰브랩스는 올해 40여 명을 추가로 채용할 예정이다. 이 대표도 매일 1시간 이상을 지원자 면접에 쓰며 우수 인재를 선발하는데 집중하고 있다. 그는 “최근 전략적 투자로 유치한 투자금을 인재 확보 등에 활용할 예정”이라고 전했다.