2021년 21억 달러에서 2030년 212억으로, 10년 이내에 약 1000%의 비약적인 성장이 예측되는 시장이 있습니다. 마이크로소프트, 캐논, 구글 등 해외 유수의 기업이, 국내에서는 SKT가 참여해 시장 크기를 키워나가고 있는 볼류매트릭 캡쳐(비디오) 시장입니다.
볼류매트릭 캡쳐(=볼류매트릭 비디오)
볼류매트릭은 ‘용량(볼륨) 측정과 관련된’이라는 의미를 가진 형용사로, 볼류매트릭 캡쳐는 여러대의 카메라와 센서를 이용해 어떤 물체의 용량을 길이, 너비, 높이를 촬영해 3차원으로 저장하는 것을 의미합니다.
3차원 촬영을 위해서는 별도의 캡쳐 스튜디오가 필요한데, 피사체를 360도 촬영하기 위해서 적게는12대에서 많게는 100여 대의 카메라 배치가 필요하기 때문입니다. 다양한 배경 연출을 위해 그린크로마키로 배경을 구성하는 것이 대부분이며, 다수의 인물을 한 번에 촬영하거나, 동적인 움직임을 촬영하기 위해서 넓은 공간을 필요로 합니다. 캡쳐 스튜디오 초기 구축 비용이 높기 때문에 스포츠, 영상 제작, 게임, 의료, 광고 분야와 관련된 국내외 주요 대기업에서 자체적으로 스튜디오를 구축해왔습니다. 대표적인 스튜디오로는 미국의 아바타 디멘션, 영국의 메타버스 XR스튜디오, 일본 캐논의 카와사키 스튜디오 등이 있고, 국내에는 skt의 점프스튜디오가 있습니다.
캡쳐 스튜디오의 수많은 카메라가 피사체를 360도 촬영할 때 모든 각도의 RGB값이 기록되고, 라이더 센서는 피사체의 위치를 점 좌표로 기록합니다. 이렇게 수집된 데이터를 포인트 클라우드라고 하는데 이런 포인트 클라우드를 하나의 정보로 통합하면 3차원 피사체의 형태를 정밀히 표현해낼 수 있게 됩니다.
*LiDAR(Light Detection and Ranging) 센서: 어떤 물체에 빛을 쏘았을 때, 그 빛이 되돌아오는 시간을 기록해 물체의 위치 인식이 가능하도록 하는 센서
이렇게 촬영된 볼류매트릭 영상은 AR, VR 콘텐츠에 사용될 수 있습니다. AR글래스 등 실감형 영상 시청 기기를 사용하면, 촬영된 피사체를 360도 방향에서 볼 수 있습니다. 스트리밍 가능한 3D영상이 만들어지는 것입니다.
기존 영상 촬영 방식 대비 장점
볼류매트릭 캡쳐 방식의 가장 큰 장점으로는 한번의 촬영으로도 다초점으로 활용할 수 있는 영상을 만들어낼 수 있다는 것입니다. 영화, 드라마 등 영상 촬영을 할 때에는 같은 장면을 여러 방향에서 보여주기 위해 여러 대의 카메라가 필요합니다. 촬영 후 영상 촬영 시점을 변경하고자 하는 경우에는 재촬영이 필요하기 때문에 촬영과 관련된 모든 인력이 영상 촬영에 오랜 시간을 들여야 했습니다.
볼류매트릭 캡쳐 방식으로는 스튜디오에서 한 번만 촬영을 해두면 여러 번 다시 찍을 필요 없이 초점만 변경시켜가며 여러 각도의 촬영본을 사용할 수 있습니다. 배경 역시 영상을 입힐 수 있어, 비용을 들여 로케이션 촬영을 하지 않아도 됩니다.
SKT에 따르면 기존 3D 모델링 방식 대비 획기적인 비용 절감이 가능하다고 하며, 기존 영상 제작 방식에 비해 약 6~10배 정도의 기간도 단축 가능하다고 합니다.
영상 시청자는 이제, 원하는 영상을 원하는 시간에 볼 수 있을 뿐만 아니라 원하는 구도에서 영상을 시청할 수 있게 되는데요. 한 층 더 주체적인 영상 시청이 가능해지는 것입니다. 영상 시청뿐만 아니라 영상을 재가공 할 때에도 시청자가 원하는 시점에서 재가공할 수 있기 때문에 무수히 많은 2차 창작물이 만들어질 수 있습니다.
활용 예시
볼류매트릭 캡쳐 기술의 이해를 돕기 위해 볼류매트릭 캡처 기술이 사용된 두 가지 사례를 소개합니다.
엔터테인먼트 시장
공연 시장은 코로나 바이러스 감염증에 따라 급속한 온라인화가 진행됐는데요.
오프라인의 현장감을 대체하기 위해, 온라인 공연에서는 AR기술 등을 이용해 화려한 시각 효과를 제공해왔습니다.
2020년에는 볼류매트릭 기술이 사용됐는데, 한 온라인 공연에서 방탄소년단의 멤버 중 한 명이 어깨 부상으로 공연에 함께하지 못하게 되자 볼류매트릭 캡처스튜디오에서 해당 멤버를 촬영해 함께 공연을 꾸미는 것처럼 보여줬습니다. 이 사례는 2D 화면에서의 시청을 고려한 것이지만 3D 시청을 고려해 만든 다른 사례도 있습니다.
음악 프로듀서인 Imogen Heap은TheWaveVR이라는 VR 플랫폼과 협업해 짧은 콘서트를 만들었습니다. 오큘러스 등 VR기기를 이용하면 3D로 영상을 시청할 수 있습니다. 좋아하는 가수의 노래를 듣고 퍼포먼스를 보며, 가수의 얼굴을 클로즈업해 볼 수도 있고, 카메라가 잡아주지 못해 원하는 시각에서 볼 수 없던 아쉬움을 덜어낼 수 있게 됩니다.
교육
교육 효과를 높이기 위해 학생들의 몰입도가 중요합니다. 사우스캐롤라이나 대학은 백신에 거부감이 있는 학생들에게 백신 접종을 장려하기 위해 볼류매트릭 기술을 사용했습니다. 학생들이 간편히 접속할 수 있도록 QR코드로 링크를 제공했으며, 실제 배경과 디지털 영상을 중첩해 보여주는 증강현실 기술로 학생들의 관심을 높였습니다.
위 사진과 같이 볼류매트릭 기술로 만들어진 영상을 교육 목적으로 사용했을 때 학생들의 몰입감과 집중력을 높일 수 있으며 수업에 의학, 과학 교구 등을 사용하는 경우 그 효용이 더욱 높아질 것입니다. 정확한 동작 습득이 중요한 운동을 배울 때에도 교육자의 모습을 360도 관점에서 모두 확인할 수 있으므로 효과적입니다.
볼류매트릭 캡처의 한계와 시사점
소니의 경우, 초기 볼류매트릭 캡쳐에 비해 4배 이상의 카메라를 사용하고 있고, 화면 해상도도 2K에서 8K까지 변화했다고 합니다. 그러나 여전히 얼굴 표현의 부자연스러움이 존재하는데요. 이미지 처리 기술과 머신러닝 기술을 결합해 부자연스러움을 해결해오고 있으나, 실제 인물과는 차이가 존재하므로 정교화를 위한 노력이 추가 되어야 할 것으로 보입니다.
스튜디오 크기만큼 제약이 있다는 것도 한계점입니다. 대규모 인원을 촬영하기 위해서는 대규모 인원 이상을 수용할 수 있는 크기의 스튜디오에서 촬영해야 하는데요. 아직은 관객이 포함된 공연이나, 강연 등 오프라인 이벤트를 촬영하기는 어렵습니다.
이 두 가지가 해결 된다면 볼류매트릭 캡쳐 기능의 활용도는 무궁무진할 것으로 보입니다.
아직은 3D 시청기기가 상용화 되는 단계이므로 볼류매트릭 캡쳐 방식으로 촬영된 영상을 2D 화면에서 시청하는 것이 일반적일 것이지만, 영상 시청 기기 성장세가 가파릅니다.
초실감 영상 기기 수요가 늘어날수록, 3D영상 콘텐츠 시장도 함께 성장할 것으로 보입니다. 양질의 영상 콘텐츠가 늘어날수록 다시 기기 수요가 늘어나는 순환이 이어질 것이며, 이 흐름은 볼류매트릭 캡처 시장의 성장을 견인하게 될 것입니다.
추가 자료
공연 볼류매트릭 캡쳐 영상 : https://www.youtube.com/watch?v=YHc49r4shJE
볼류매트릭 캡쳐_ 2020 MAMA https://www.youtube.com/watch?v=8d9CBEriek0
광고(리아킴 SKT) https://www.youtube.com/watch?v=y9tUpt-6tjs
처리 순서 및 예시 https://www.youtube.com/watch?v=_ljYpdGJdoo&t=203s
볼류매트릭 캡처 예시 https://docs.depthkit.tv/docs/examples-of-volumetric-films
마이크로소프트 https://youtu.be/dXs4PrWpQoM
