GPT-6 Astra가 유튜브를 바꿔놓은 것 같다

한 줄 요약

자신의 실제 영상을 애니메이션 스타일로 완전히 바꾸는 "비디오 스타일 트랜스퍼" 파이프라인을 공개합니다. 누구나 따라 할 수 있는 간단한 방법부터 코딩 에이전트로 자동화하는 방법까지 전부요.

전체 내용 정리

왜 지금 이 기술이 중요할까요

과거에는 이런 스타일 변환을 하려면 복잡한 모션 캡처 장비가 필요했어요. 지금은 그냥 노이즈 적은 배경에서 영상 하나만 녹화하면 됩니다.

발표자는 이것이 크리에이터들이 자신을 표현하는 새로운 방식이 될 거라 보고, 이 접근법 전체를 오픈소스처럼 공개한다고 밝혀요. 소비자용 방법(API 호출 수준으로 간단한 방법)과, 더 저렴하고 최적화된 코딩 에이전트 파이프라인 두 가지를 모두 보여 줍니다.

핵심 원리는 곱셈이에요

전체 흐름은 이렇습니다.

원본 녹화 영상이 모션을 제공하고, 그 원본 영상에서 뽑은 한 프레임을 이미지 생성 모델로 원하는 스타일로 변환한 "스타일 레퍼런스 이미지"를 만듭니다.

이 두 가지, 그러니까 원본 모션과 스타일 이미지를 영상 생성 모델에 함께 넣으면 스타일이 입혀진 클립이 나와요(영상에서는 "Genjutsu"라는 모델을 씁니다).

이미지 영역에서는 이런 스타일 트랜스퍼가 이미 오래전부터 가능했는데, 영상에서 의미 있는 수준으로 되는 건 지금이 처음이라고 설명해요.

얼굴 사진 하나로 다양한 스타일을

발표자는 자기 얼굴 사진 한 장으로 여러 스타일을 생성해 보여 줍니다. 3D 페인팅, 손그림 애니메이션, 스톱모션 조각 느낌, 잉크 그래픽노블, 유화 애니메이션, 수채화·그래파이트, 프리미엄 극장판 CG, 목탄·분필까지요.

방법은 간단해요. Higsfield라는 서비스에 가입해 GPT 이미지 모델을 선택하고, 얼굴 프레임을 업로드한 뒤 "쿨한 3D 아방가르드 스타일로 바꾸되 얼굴 특징은 알아볼 수 있게 유지해 줘" 같은 프롬프트를 넣습니다. 원하는 스타일이 나오면 다운로드해서 다음 단계로 넘어가요.

프롬프트로 원본 특징을 명시적으로 고정하세요

영상과 스타일 이미지를 Genjutsu 모델에 함께 넣고 이렇게 지시합니다.

"레퍼런스 영상의 퍼포먼스를 스타일 레퍼런스 이미지 속 같은 인물에게 그대로 전달하라. 얼굴형·곱슬머리·수염·회색 맨투맨·검은 마이크 같은 식별 가능한 특징은 보존하라."

핵심은 역할을 명확히 나눠 지시하는 거예요. 스타일 이미지는 렌더링 스타일과 캐릭터 디자인만 정의하고, 머리 움직임·시선·눈 깜빡임·입모양·어깨 움직임 같은 동작은 원본 영상이 우선한다는 점을 프롬프트에 명시해야 합니다.

모델에 따라 비용이 3배 이상 달라요

5초 분량 생성에 Higsfield Genjutsu는 약 32.5크레딧이 듭니다.

같은 작업을 Wan 3.0(Genjutsu와 비슷한 계열)으로 하면 720p·16:9 기준 9크레딧으로 줄어들어요. 품질은 완전히 동일하지는 않지만 꽤 준수한 수준이라고 설명합니다.

가끔 변환이 실패하는 경우도 있는데, 이는 대개 저작권이 있는 캐릭터를 쓴 게 아니라면 수학적 오류 때문이에요. 실패 시 크레딧이 환불되고 재시도하면 됩니다.

코딩 에이전트로 전체를 자동화하기

5분 같은 긴 영상은 모델 한계 때문에 한 번에 통째로 처리할 수 없어요. 20초 단위 등으로 잘라서 각각 스타일 변환한 뒤 이어붙여야 합니다.

이 전체 과정을 코딩 에이전트에게 맡길 수 있어요. 계획, 실행, 검수, 실패 시 재시도, 각 이음새의 불일치 확인까지요.

코딩 에이전트에 Higsfield를 플러그인으로 연결하고 준비된 프롬프트를 붙여넣으면 이렇게 진행됩니다. 영상 파일을 받아 스타일 이미지를 만들고, 해상도·구간·컷 길이 등을 사용자에게 확인한 뒤, 예상 크레딧 비용을 미리 알려 주고 승인을 받고 나서 전체 구간을 생성해요. 이후 Solero(음성 활동 감지)와 ffmpeg로 후처리해 이어붙입니다.

저렴하게 직접 서빙하고 싶다면 Wan 2.2 Animate 14B 같은 모델을 허깅페이스에서 내려받아 자체 하드웨어에서 돌릴 수도 있어요.

광고 A/B 테스트가 가장 강력해요

발표자는 이 기술이 광고에 특히 강력하다고 강조합니다.

하나의 영상 광고를 20~30가지 스타일로 변환해 지역·문화·취향에 따라 스플릿 테스트를 하고, 전환율이 가장 높은 스타일에 예산을 몰아줄 수 있다는 거예요.

계산도 명확합니다. 130크레딧 정도로 여러 스타일을 실험해서 전환율이 1.5~2배 높은 광고 하나를 찾아내면, 처음 몇 번의 클릭만으로도 비용을 회수할 수 있다고 설명해요.

핵심 인사이트

• 스타일 트랜스퍼는 "곱셈" 구조로 이해하면 쉬워요: 원본 영상(모션)과 스타일 이미지를 각각 준비해 결합하는 구조라서, 스타일 이미지만 여러 개 만들어 두면 같은 원본으로 다양한 결과물을 빠르게 뽑아낼 수 있습니다.
• 프롬프트에서 "무엇을 고정할지"를 명시하는 게 품질을 가릅니다: 스타일 이미지는 렌더링 스타일만, 원본 영상은 동작과 표정을 담당한다고 역할을 명확히 나눠 지시해야 원본의 정체성이 무너지지 않아요.
• 모델 선택으로 비용을 3배 이상 줄일 수 있어요: 같은 결과물이라도 어떤 영상 생성 모델을 쓰느냐에 따라 크레딧이 32.5에서 9까지 차이 납니다. 대량 생산 전에 모델별 비용을 비교해 볼 가치가 있어요.

오늘 당장 해볼 것

1. Higsfield에 가입해 자기 얼굴 사진 한 장을 업로드하고 원하는 스타일로 변환한 이미지를 하나 생성해 보세요.
2. 10~30초 분량의 짧은 셀프 영상을 녹화해, 위에서 만든 스타일 이미지와 함께 넣어 스타일이 입혀진 클립을 만들어 보세요.
3. 광고나 홍보 영상이 있다면 같은 원본 영상에 서로 다른 스타일 2~3개를 입혀 보고 어떤 스타일이 더 눈길을 끄는지 비교해 보세요.