버추얼 휴먼 기술로 미래 콘텐츠를 만들어갑니다. 펄스나인 박지은 대표

[출처 : 한국콘텐츠진흥원 <N콘텐츠 매거진> Vol.30 웹진 바로가기]

 

K-콘텐츠산업의 미래를 결정하는 요소 중에 ‘신기술’을 빼놓을 수 없다. 버추얼 휴먼 기술은 사람처럼 움직이는 수준을 넘어 ‘버추얼 아이돌’까지 탄생시켰다. 버추얼 아이돌이라는 새로운 장르로 K-콘텐츠의 미래를 여는 사람. 버추얼 걸그룹 ‘이터니티’를 선보인 펄스나인 박지은 대표를 만나본다.

글. 배효은 기자

사진 제공_펄스나인

우선 자기소개 부탁드립니다
세계 최초 K-팝 가상 아이돌 걸그룹 이터니티의 제작자, 박지은입니다. 제가 이끌고 있는 펄스나인(PULSE9)은 창의적이고 열정적인 아티스트들과 협력해 K-팝 산업에 새로운 바람을 일으키고 있습니다. 저는 가상이지만 이터니티 멤버들이 세계 무대에서 빛날 수 있도록 지원하는 것을 최우선으로 생각합니다. 아티스트들은 독특한 개성과 뛰어난 재능을 통해 K-팝의 다양성과 글로벌 영향력을 확장하고 있습니다.

펄스나인이라는 회사에 대해 자세한 설명을 부탁드릴게요
독자 기술력을 바탕으로 보다 높은 수준의 버추얼 휴먼 서비스를 선보이는 기업입니다. 자체 개발한 가상 인물 자동화 서비스 ‘딥리얼 AI’를 활용해 실사형 가상 인물의 이미지를 생성한 후 직접 촬영한 실제 인물 영상에 합성하는 형식이지요. 버추얼 아이돌 ‘이터니티(IITERNITI)’를 제작해 업계의 주목을 받고 있습니다. 기존 3D 기반의 가상 인물의 현실감을 향상시키고 제작 비용과 시간을 낮춰 효율성을 높였습니다. 지난해 8월 ‘딥리얼 LIVE‘를 통해 이터니티 제인이 YTN 생방송 뉴스에 출연해 생방송 출연과 소통이 가능한 버추얼 휴먼으로 화제를 모았습니다. 이후 라이브 커머스 활동과 리포터, 드라마, 예능 촬영 등을 진행하고 있습니다.

펄스나인은 버추얼 휴먼 분야의 선두주자로 알려져 있습니다. 대표님이 가상 인간에 관심을 가진 계기, 처음에 가상 인간을 만들게 된 과정이 궁금합니다
저희는 AI와 그림이 접목된 AI 아트 사업을 했습니다. AI 화가 ‘이매진 AI’도 개발해 극사실주의 화가와 함께 ‘독도’를 그려 주목받기도 했습니다. 그런 노력이 거듭되면서 실제 사람과 흡사한 가상 인간의 얼굴을 만들 수 있게 되었습니다. 그때 코로나19 사태가 일어나 가상 인간 시장이 커지면서 본격적으로 가상 인간을 만들게 되었습니다.

버추얼&nbsp;아이돌&nbsp;그룹&nbsp;이터니티&nbsp;&copy;펄스나인

이터니티라는 아이돌 그룹을 만들게 된 계기는 무엇인가요?
딥리얼 AI는 수십만 장의 얼굴 데이터를 통해 0.6초 만에 가상 얼굴을 만들어냅니다. 수많은 가상 얼굴을 만들어봤는데, 직원들마다 선호하는 얼굴이 다르더라고요. 그래서 가상 인물 이상형 월드컵, 일명 ‘심쿵챌린지’까지 진행했습니다. 총 2만 명의 참가자가 심쿵챌린지에 참여하며 관심이 높아지면서 펄스나인만의 K-팝 아이돌을 만들어보자는 의견이 모였고, 이렇게 아이돌 그룹까지 만들게 되었습니다.

이터니티 제작에는 어떤 기술이 사용되고, 어떤 과정으로 만들어지나요?
딥리얼 AI를 통해 가상 인물 이미지를 생성한 후 그 얼굴의 여러 가지 표정들을 학습합니다. 그 학습 데이터를 바탕으로 직접 촬영한 이미지 또는 영상에 합성하고 영상 속 얼굴의 시선 처리, 근육 등을 학습해 콘텐츠를 만듭니다. 딥리얼 LIVE는 가상 인물을 초당 44프레임으로 실시간 ‘페이스 스와프(face swap)’해 사람과 비교해도 손색없을 정도로 다양한 감정을 실시간으로 정교하게 표현합니다. 1시간가량의 생방송을 방송 촬영장에서 국제방송 규격으로 끊김 없는 신호처리 변환을 이뤄냈습니다. 클로즈업 등 다채로운 카메라 연출에도 흔들림 없는 품질을 보여주었습니다.

이터니티는 단순히 노래와 춤을 보여주는 정도를 넘어 일반 아이돌처럼 뮤직비디오 비하인드 영상, 인터뷰를 통한 팬과의 소통도 하고 있습니다. 버추얼 아이돌, 버추얼 휴먼이 앞으로 어디까지 발전할 수 있을 거라 생각하시나요?
‘이터니티’뿐 아니라 ‘이세계아이돌’, ‘플레이브’ 등의 활발한 활동으로 버추얼 아이돌에 대한 관심이 커지고 있습니다. 버추얼 휴먼 기술은 ‘사람 리스크’로부터 자유롭다는 장점도 있지만, 그보다는 상상력을 현실로 끄집어낼 수 있다는 점에서 가능성이 무궁무진합니다. 창작자들은 캐스팅 등 ‘사람’의 한계에서 자유로워지고, 자기가 표현하고 싶은 캐릭터를 더 풍성하게 표현할 수 있지요. 창작자들의 접근성이 높아지면 사람을 소재로 한 여러 콘텐츠를 더 쉽고 자유롭게 창작할 수 있을 겁니다.

이터니티는 세계 최초로 버추얼 아이돌 단독 콘서트도 개최했는데요. 어떤 방식으로 공연이 진행되었고, 반응은 어땠나요?
버추얼 아이돌의 한계를 뛰어넘으려고 많은 준비를 했습니다. 국내 최대 규모(약 1,350인치)의 초대형 고해상(16K) LED와 3D 이머시브 사운드 시스템이 설치된 몰입형 콘텐츠 상영 공간인 아이벡스 스튜디오 하이퍼홀에서 진행해 몰입감 있는 콘텐츠 경험으로 채웠습니다. 안무와 목소리 등에서 기존 기술의 한계를 뛰어넘기 위해 AI 싱잉 보이스와 3D 모션 캡처를 활용해 현장감을 살렸고, 이터니티의 세계관을 반영한 미디어아트 ‘크롬스파크’ 시리즈로 환상적인 이미지를 표현해 낯선 세계관에 몰입할 수 있도록 도왔습니다. 관람객들은 ‘버추얼 아이돌 콘서트도 이렇게 열광할 수 있구나’ 등 찬사도 보냈지만, ‘신기하지만 아직은 이질적으로 느껴진다‘ 등 다소 아쉬운 평도 남겼어요.

이터니티뿐만 아니라 버추얼 휴먼을 통해 펄스나인이 이루고자 하는 바가 무엇인가요?
이터니티 IP와 같이 다른 회사와 IP를 공동으로 개발하고 가상 인간 IP의 허브가 되는 것이 펄스나인의 최종 비전입니다. 미키마우스 등 다양한 캐릭터를 자사 IP로 활용하는 월트디즈니처럼 우리도 ‘버추얼 월트디즈니’가 되는 게 목표입니다.

버추얼 휴먼 기술이 K-팝과 K-콘텐츠 발전에 어떤 영향을 미칠 것이라 생각하시며 대표님은 K-콘텐츠 발전에 있어 어떤 역할을 하고 싶으신가요?
한 대중문화평론가가 “이제 K-팝 아이돌 문화를 향유하는 MZ 세대에게는 더 이상 ‘진짜인지 가짜인지’가 중요하지 않다. 그들에게 중요한 것은 문화를 통해 느끼는 만족감이다.”라고 말했습니다. 최근 펄스나인은 버추얼 아이돌뿐 아니라 가상 인물을 영화에 활용할 수 있는 신기술 기반 콘텐츠 랩 운영사업을 한국콘텐츠진흥원과 진행했습니다. 공모를 통해 숏폼 무비를 제작할 수 있는 4개 팀을 선발, 지난 4개월 간 ‘AI 페이스 스왑 기술’을 활용한 영화를 만들었습니다. 이번 프로젝트는 미래 영화 산업에서 필연적으로 발생할 수 있는 여러 가지 변화 요소 중 하나를 보여준 사례입니다. 미래 콘텐츠에서 AI는 반드시 활용될 기술이고 많은 부분의 변화를 가져올 것입니다. 이러한 역할을 리드하고 긍정적인 영향을 줄 수 있는 역할을 하고 싶습니다.

 

[출처 : 한국콘텐츠진흥원 <N콘텐츠 매거진> Vol.30 웹진 바로가기]