딥페이크(Deepfake), 나쁘기만 한 것은 아니다! 터틀맨, 김광석, 유관순, 나연이 등 딥페이크 기술의 착한 활용 사례
상태바
딥페이크(Deepfake), 나쁘기만 한 것은 아니다! 터틀맨, 김광석, 유관순, 나연이 등 딥페이크 기술의 착한 활용 사례
  • 조현주
  • 승인 2022.02.17 09:16
  • 조회수 30534
  • 댓글 0
이 콘텐츠를 공유합니다

 

이제 “딥페이크(Deepfake)”라는 단어만 나오면 “또 무슨 일이지?” 라는 부정적인 생각이 먼저 떠오른다. 디지털 성범죄, 가짜 뉴스 등에 악용되어 대부분의 사람들은 딥페이크 기술이 나쁜 기술이라고 오해하고 있다.
하지만 딥페이크는 나쁜 기술이 아니다. 영화계, 의료계, 방송계 등 다방면에서 딥페이크 기술을 활용하여 인간 삶의 가치를 높이고 있다. AR, VR 등의 기술과 접목시켜 큰 감동을 주기도 한다. 부작용이 많다는 점에서 여전히 우려 섞인 목소리가 크지만 부정적인 면만 있는 것은 아니다. 딥페이크 기술 원리를 알아보고 딥페이크가 착하게 활용된 사례를 소개하고자 한다.
 

딥페이크란?
딥페이크(Deepfake)란 인공지능의 한 분야인 심층 학습(Deep Learning)과 가짜(Fake)의 합성어이다. 이 용어는 2017년 미국의 소셜네트워크 플랫폼 레딧에서 “Deepfakes”라는 아이디를 가진 회원이 유명 배우의 얼굴로 조작된 가짜 음란 동영상을 올리면서 사용되기 시작했다. 
2014년 이안 굿펠로우(Ian Goodfellow)는 딥페이크의 핵심이 된 기술, 생성적 적대 신경망(GAN: Generative Adversarial Networks)을 발표했다. GAN은 생성자(Generator)와 판별자(Discriminator)라는 서로 대립 관계에 있는 신경망을 동시에 훈련하면서 결과물의 정확성을 높이게 된다. 아래 그림과 같이 위조 지폐를 생성해 내는 위조 지폐범(생성자)과 위조 지폐를 가려내기 위해 노력하는 경찰(판별자) 사이의 경합하는 과정으로 쉽게 이해할 수 있다.
 
 

Figure 1 GAN의 원리 (모두의 딥러닝, 길벗)

 

GAN을 이용하여 가짜를 진짜인 것처럼 만들어 낼 수도 있고, 이 세상에 없는 사람을 사실적으로 생성해낼 수도 있다. 딥페이크 기술이 활용된 사례를 확인해 보자.
 

[활용 사례 1] 제미니 맨 – 디지털 디에이징
2019년 10월 개봉한 영화 제미니 맨의 제미니(Gemini)는 쌍둥이 같은 복제인간이라는 의미이다. 주인공인 헨리(윌 스미스)는 자신과 완벽하게 닮은 의문의 요원에게 맹추격을 당하며 이야기가 시작된다. 이 의문의 요원은 20대의 헨리(윌 스미스)로 윌 스미스의 젊은 시절의 모습으로 포토샵을 이용한 CG(Computer Graphics) 처리가 아닌 딥페이크 기술을 활용해 디지털 디에이징 효과를 완벽하게 재현해 냈다.
 

Figure 2 제미니 맨 포스터 - 네이버 영화
Figure 2 제미니 맨 포스터 - 네이버 영화


딥페이크 기술을 활용하기 전에는 배우를 포토샵의 필터와 브러시로 더 젊게 복원하는데 주력했다. 하지만 기술적 한계가 분명 존재했고 CG로 구현한 티도 많이 나 아쉬움이 컸다. 하지만 제미니 맨에서는 얼굴 인식 장비와 동작 포착 장비를 통해 젊은 캐릭터를 포토샵으로 CG 처리 하는 것보다 훨씬 정교하고 빠르게 만들어 낼 수 있게 되었다. 
 

[활용 사례 2] 신변보호 – 버추얼 휴먼
“SBS 그것이 알고 싶다” 에서는 2021년 2월, 딥페이크 범죄 피해자의 모습을 모자이크가 아닌 딥페이크 기술을 활용해 방영하였다. 
 

Figure 3 그것이 알고 싶다 딥페이크 편(2021.02.27)
Figure 3 그것이 알고 싶다 딥페이크 편(2021.02.27)


2명의 피해자의 동의를 얻어 버추얼 휴먼(가상 인간) ‘루이 리’를 만든 디오비스튜디오에서 딥페이크 기술을 활용해 현실에 존재하지 않는 사람의 얼굴로 만들었다. 이렇게 하여 두 피해자의 신상을 알 수 없도록 보호했다. 표정과 얼굴을 가리는 모자이크 방식을 사용하는 대신 딥페이크 기술을 활용하여 익명성을 보장하면서도 시청자에게 이들의 감정을 생생하게 전달할 수 있었다. 딥페이크 피해를 딥페이크를 통해 알리자 라는 역발상이 통했던 사례이다.
 

[활용 사례 3] 질병 예방 – 이미지 패턴 매칭
이미지 패턴 매칭 기술은 다양한 종류의 암 진단도 가능하게 한다. 2019년 7월 독일 뤼벡대(University of Lübeck) 의료정보학연구소에서는 CT, MRI, X선 이미지를 분석해 다양한 암의 징후와 이상신호를 탐지 모델을 개발했다. GAN을 이용하여 원본 영상과 진위여부를 구별할 수 없을 정도로 정확한 딥페이크 의료영상을 만들어 인공지능이 질병을 올바르게 학습하고 정확하게 진단할 수 있는데 사용하고 있다.
 

Figure 4 딥페이크 기술 적용 의료영상 (Ground AI)
Figure 4 딥페이크 기술 적용 의료영상 (Ground AI)


딥페이크 기술 이전에는 환자의 민감 데이터가 턱없이 부족했고 의료용 3D 이미지 합성에도 많은 비용이 들어 다양한 연구 진행과 인공지능 학습에 많은 어려움이 있었다. 딥페이크 의료 영상으로 환자의 정보 유출을 막을 수 있으며 인공지능이 충분히 학습할 수 있는 데이터를 생성할 수 있게 되었다.
 

[활용 사례 4] 마이헤리티지 – 새로운 추모 방식
온라인 가계도 서비스를 제공하는 마이헤리티지(MyHeritage)에서는 고인이 된 가족, 순국열사 등 새로운 방식으로 추모할 수 있다. 바로 딥러닝 전문 기업 디아이디(D-ID)의 딥노스텔지아(Deep Nostalgia) 서비스를 통해서다.
   

Figure 5 유관순 열사, 윤봉길 의사 생전 모습 복원 (MyHeritage)
Figure 5 유관순 열사, 윤봉길 의사 생전 모습 복원 (MyHeritage)


생전의 모습이 담긴 사진이나 그림 등을 마이헤리티지 플랫폼에 업로드한다. 플랫폼 내에서 화질을 개선한 후 사진이나 그림을 잘게 분할하고, 분할된 각 조각에 맞는 각도와 표정을 원본에 덮어 씌운다. 동영상 프레임 단위로 자르고 합성하여 자연스럽고 생동감 있는 형태로 고인의 모습을 제공해 준다. 딥페이크 기술을 이용한 딥노스텔지아 서비스가 공개되자마자 자연스러운 표정과 입체적인 서비스 제공에 호평일색이었다.  

[활용 사례 5] 신기술 접목 – 재회
딥페이크 기술에 VR/AR, 음성 복원 등의 기술을 더하면 큰 감동을 주기도 한다. 
딥페이크와 음성 복원 기술을 접목해 김현식, 김광석, 터틀맨(임성훈) 등 그리운 이들의 목소리, 그리고 그룹의 완전체 모습을 다시 볼 수 있게 되었다. AI 음악 프로젝트 다시 한번의 첫 주인공 터틀맨(임성훈) 사례이다. 2008년 심근경색으로 세상을 떠나기 전 영상 자료를 기반으로 목소리를 복원하고 페이스 에디팅 기술로 얼굴을 재현했다. 다시는 만날 수 없을 것만 같던 이들과의 만남이 기술의 발전으로 가능해져 많은 사람들을 놀라게 했고 감동과 위로를 전했다.
 

Figure 6 AI 음악 프로젝트 다시 한번 – 거북이 완전체 모습 (Mnet)
Figure 6 AI 음악 프로젝트 다시 한번 – 거북이 완전체 모습 (Mnet)


또한 1996년 우리 곁을 떠난 전설적인 가수 (故) 김광석의 생전 목소리로 2002년 출시된 노래를 들을 수도 있게 되었다. 오디오 전문 AI 업체 수퍼톤에서 음성 복원을 실시하여 TTS(Text-To-Speech) 기술에 악보 정보를 함께 입력하여 모창 AI를 개발했다. 모창 AI를 충분히 훈련시킨 후 김광석의 목소리 데이터를 적용하여 (故) 김광석이 한 번도 부를 수 없었던 2002년의 노래도 그의 음성으로 들을 수 있게 됐다.
 

Figure 7 세기의 대결! 인간 vs AI – AI가 학습한 김광석의 목소리로 부르는 ‘보고싶다’ (SBS)
Figure 7 세기의 대결! 인간 vs AI – AI가 학습한 김광석의 목소리로 부르는 ‘보고싶다’ (SBS)

 

딥페이크 기술과 VR 기술을 함께 결합한 사례도 있다. MBC 다큐멘터리 너를 만났다에서는  7세라는 이른 나이에 세상을 떠난 딸, 나연이를 가상현실에서 만날 수 있게 했다. 딸의 목소리, 말투, 몸짓 등은 기존 사진이나 영상으로 분석하고, 모션 캡쳐, 3D 등의 기술을 통해 가상세계 속 나연이의 모습을 실제와 가깝게 만들었다. 어머니는 VR 장비를 착용하고 가상세계 속에서 딸을 만나게 되었다. 다시 한번 딸을 만나고 싶다는 간절한 소망이 이루어져 감격했고, 딸과 가상현실에서 짧지만 소중한 시간을 보냈다. 
 

Figure 8 스페셜 다큐멘터리 너를 만났다 – 나연이 (MBC)
Figure 8 스페셜 다큐멘터리 너를 만났다 – 나연이 (MBC)

 

이처럼 다방면에서 딥페이크 기술이 활용되고 있다. 앞으로도 기술은 인간에게 새로운 가능성과 무한하게 꿈꿀 수 있는 기회를 줄 것이다. 안전성과 신뢰성이 바탕이 되어 긍정적인 방향으로 발전하길 기대한다.


[참고자료]
1. 모두의 딥러닝 개정 2판 (길벗 출판사)
2. 딥페이크 기술의 빛과 그림자 (KCA Media Issue& Trend, 2019)
3. 딥페이크 피해자를 딥페이크로 보호한 SBS ‘그알’ (미디어 오늘 정민경 기자, 2021.03)
4. 딥페이크, ‘그알’처럼 활용하기 나름 (미디어스 김혜인 기자, 2021.04)
5. [IT 최신 정보] 부정적 인식이 강렬한 딥페이크 그래도 범죄에만 악용되는 건 아닐텐데!
(네이버 포스트, 사이렌24, 2021.08) https://post.naver.com/viewer/postView.naver?volumeNo=32221608&memberNo=25598567
6. 딥페이크, 무조건 나쁘기만 하다고? (코딩 월드 뉴스 김정연 기자, 2021.04)
7. 데이터 기반 딥페이크 탐지기법에 관한 최신 기술 동향 조사 (정보보호학회지 제 30권 제5호 김정호, 안재주, 양보성, 정주연, 우사이먼성일, 2020.10)
8. https://tech-wired.tistory.com/196
9. 딥페이크(Deepfake): 최고가 되느냐, 최악이 되느냐 (지속가능저널, 최정원 저널리스트, 2021.03)
10. 김광석·김현식 노래 다시 들을 수 있다고? AI가 소환한 레전드 (중앙일보, 민경원 기자, 2020.12)

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.