쇼츠 편집을 Claude Code로 100% 자동화하는 방법 (전부 오픈소스 제공)

한 줄 요약

셀카 토킹헤드 영상 하나와 명령어 한 줄이면 Claude Code가 무음 정리·자막·효과음·모션 그래픽까지 입힌 쇼츠를 만들어 주는 오픈소스 시스템을 샘 호트만이 직접 돌려 보여 줘요. 남들과 똑같아지지 않도록 레퍼런스 영상에서 내 취향을 뽑아 시스템에 계속 반영하는 방법까지 다뤄요.

전체 내용 정리

셀카 영상 하나에 명령어 한 줄이면 쇼츠가 나와요

요즘 Opus 모델로 만든 모션 그래픽 영상이 유튜브에서 바이럴되고 있죠. 샘 호트만은 이걸 응용해 릴스·쇼츠에 흔한 아바타 토킹헤드 영상을 자동으로 만드는 시스템을 만들었어요. 무음 정리, 자막, 효과음까지 로컬 컴퓨터에서 무료로 돌아가고 API 키도 필요 없어요. Claude Code만 있으면 된다는 거예요.

그런데 모두가 같은 시스템으로 쇼츠를 만들면 결과물도 다 비슷해지겠죠. 그래서 영상 후반에는 다른 사람의 영상이나 맥락을 참고해 내 취향을 뽑아 시스템에 반영하는 과정을 보여 줘요. 코드는 전부 오픈소스로 공개했고, 자세한 매뉴얼과 활용 레퍼런스는 댓글의 신청 폼으로 받을 수 있다고 해요.

깃허브에서 받아 Claude Code로 열고 "쇼츠 만들어 줘"라고 하면 돼요

실습은 샘 호트만이 배포한 '오픈소스 아바타 쇼츠' 코드베이스로 진행해요. 깃허브에서 클론하거나 다운로드한 폴더를 Claude Code에서 열고, 샘플 아바타 영상을 넣은 뒤 "이거 쇼츠 만들어 줘"라고만 해도 어느 정도는 알아서 만들어 줘요. 필요한 건 파이썬, Node.js, Claude Code, FFmpeg 정도예요.

여기에 코멘트나 맥락, 외부 에셋 링크를 더 넣어 주면 결과물이 훨씬 화려하고 보기 좋아진대요. effort(추론 강도) 설정을 높일수록 비주얼도 좋아지긴 해요. 다만 샘 호트만은 비주얼을 좋게 만드는 선행 조건은 effort보다 안에 들어가는 다양한 에셋과 맥락이라고 강조해요.

교육용으로 만든 거라 외부 API 서비스는 붙여 두지 않았대요. 그래도 영상 속 아바타처럼 API로 아바타 모델을 불러와 전부 자동화할 수는 있어요. 생성 아바타가 부자연스럽게 느껴질 수 있어서, 본인은 혼자 나와 설명하는 릴스 형식을 브랜딩 목적에 맞게 반영했다고 해요. 고치고 싶은 부분은 자연어로 설명하면 돼요.

스토리보드·모션·전사 스킬이 돌고, 몇 분 뒤 검수까지 거친 결과가 나와요

돌아가는 동안 어떤 스킬이 쓰이는지도 설명해요. 먼저 영상 위에 올라갈 B롤과 에셋을 정하는 스토리보드를 구성하고요. 모션 그래픽을 돌리는 여러 요소를 묶은 모션 키트와 프롬프트들이 함께 움직여요.

전사(transcription) 작업에는 역할 분담이 있어요. 전사 모델로 뽑은 텍스트에는 오탈자와 고유명사 오타가 많아요. 그래서 전사 모델은 자막 타이밍을 잡는 용도로만 쓰고, 텍스트 교정은 Claude가 맡아요. 나중에 개인화할 때는 좋아하는 영상 레퍼런스를 Claude Code에 던지면 그 취향을 반영해 영상을 완성해 준대요.

몇 분 지나자 결과물이 나왔어요. 장면을 어떻게 디렉팅할지 정리한 스토리보드가 먼저 보이고, 그걸 바탕으로 만든 완성 영상도 확인할 수 있어요. 색 테마, 무음 구간, 장면 수 같은 건 시스템이 알아서 정해 반영해요.

샘 호트만은 영상 자동화에서 반드시 필요한 부분이 검수라고 봐요. 이 시스템에는 검수 영역도 들어가 있어요. 참고로 데모 속 아바타는 본인 사진을 열 살쯤 젊게 바꾼 뒤 이미지 립싱크 아바타 모델로 만든 거래요.

데모 영상의 내용은 계정 톤앤매너를 세 가지만 정하라는 이야기예요. 색은 보색이나 유사색 중 하나만 고르면 충분하고, 폰트는 두세 개만 쓰되 제목용·자막용·속마음용으로 역할을 나눠요. 마지막으로 내 영상에 주로 무엇이 나올지, 그러니까 분위기 있는 B롤인지 화면 캡처·그래프인지 캐주얼한 스티커인지를 정해 두라는 거예요. 원본은 샘 호트만이 보고 배우는 한 인스타 계정의 영상인데, 그걸 자기 스타일로 바꿔 본 거래요. 결과는 무미건조한 아바타에서 "조금 볼 만한" 수준까지 올라왔다고 평가해요.

레퍼런스 영상 두 개를 던져 내 취향을 입혀요

이제 취향을 입힐 차례예요. 샘 호트만은 모션 그래픽을 큐레이션해 둔 레퍼런스 사이트를 주로 활용한대요. '지터(Jitter)'와 '세이브 마켓플레이스'라는 두 곳에서 마음에 드는 영상을 저장하거나, 템플릿을 열어 720p로 내보내 받았어요. 워터마크는 크게 상관없대요. 어차피 Claude Code에 참고용으로 올릴 거니까요.

화려한 레퍼런스 영상을 자세히 보면 안에 정말 다양한 에셋이 들어가 있어요. 그래서 쇼츠·릴스를 만들 때 에셋 수집 자동화에 따로 집중해 보는 것도 좋은 방향이라고 해요.

두 영상을 Claude Code에 드래그해 넣고, 이 애니메이션 효과를 시스템 곳곳에 반영하고 싶다고 요청했어요. 영상의 콘택트 시트(장면이 크게 바뀌는 순간의 프레임을 모은 이미지, 스토리보드와 같은 역할)도 뽑아 달라고 했고요. 가장 정확하게 하려면 영상을 구글 Gemini에 넘기고 영상 해석 프롬프트를 함께 주는 방법을 추천해요.

이때 좋은 것과 싫은 것을 구체적으로 말하는 게 중요해요. 샘 호트만은 레퍼런스의 타이포그래피는 취향이 아니지만 아바타가 확대되는 연출은 마음에 든다고 콕 집어 말했어요. 결과물에서는 실제로 아바타가 계속 확대되는 연출과 그가 짚은 효과들이 반영됐어요.

마음에 들면 스킬과 문서에 반영하고 커밋해요

결과가 마음에 드는지에 따라 다음 단계가 갈려요. 마음에 안 들면 피드백을 주면 되고, 마음에 들면 "이런 효과를 앞으로 계속 반영해 줘"라고 말해요. 그리고 이번 버전을 기준으로 취향과 정책을 나눠서 기존 스킬과 문서에 반영해 달라고 요청한 뒤 커밋·푸시해요. 이걸 반복하면 시스템이 점점 내 취향에 최적화돼요.

남들과 다른 취향을 만들고 싶다면 결국 레퍼런스 영상을 많이 관찰하라고 권해요. 대량 수집은 GPT의 컴퓨터 유즈(computer use) 같은 도구로 자동화해 볼 수도 있다고 해요.

본인 쇼츠는 이미 엔드투엔드로 돌아가요

오픈소스 버전은 직접 찍은 셀카 영상이 필요해요. 반면 샘 호트만이 요즘 올리는 쇼츠는 아바타, TTS, 자막, 취향 반영까지 엔드투엔드 자동으로 만들어진대요. 블로그 글도 함께 만들어지고 개인 지식 관리 시스템에도 쌓인다고 해요.

이 시스템으로 오프라인 강의를 열 계획이 있어서 댓글의 Tally 폼으로 수요 조사를 받는다고 해요. 신청자에게는 강의 오픈 때 할인을 주고, 상반기에 유튜브 자동화를 가르친 것과 비슷한 형식으로 진행하면서 시스템도 모두 제공할 예정이래요.

핵심 인사이트

• 비주얼 품질은 모델 설정보다 맥락이 좌우해요: effort를 올리면 나아지긴 하지만, 결과물을 화려하게 만드는 건 결국 넣어 주는 에셋과 레퍼런스예요. 그래서 입력 재료부터 챙기라는 거죠.
• 전사 모델과 LLM의 역할을 나누면 자막 오타가 줄어요: 전사 모델은 타이밍만 잡고 텍스트 교정은 Claude에게 맡기는 구조예요. 전사 텍스트에 오탈자와 고유명사 오타가 많다는 문제를 이렇게 피해요.
• 취향은 한 번에 정하는 게 아니라 스킬·문서에 쌓아 가는 거예요: 레퍼런스에서 좋은 것과 싫은 것을 구체적으로 짚고, 마음에 든 결과를 스킬과 문서에 반영해 커밋해요. 같은 오픈소스를 써도 결과물이 남들과 달라지는 지점이 여기예요.

오늘 당장 해볼 것

1. 댓글에 공개된 오픈소스 아바타 쇼츠 저장소를 클론해 Claude Code로 열고, 휴대폰으로 찍은 1분짜리 셀카 영상을 넣어 "이거 쇼츠 만들어 줘"라고 해 보세요. Claude Code에 파이썬·Node.js·FFmpeg만 깔려 있으면 API 키 없이 첫 결과물을 볼 수 있어요.
2. 내 계정 톤앤매너를 세 줄로 적어 보세요. 색은 보색·유사색 중 하나, 폰트는 제목·자막·속마음용 두세 개, 영상 소스는 B롤·화면 캡처·스티커 중 하나로요. 이걸 정해 두면 자동화 시스템에 넘길 맥락이 바로 생겨요.
3. 마음에 드는 모션 그래픽 영상 두 개를 저장해 Claude Code에 올리고, "이건 좋고 이건 싫다"를 구체적으로 적어 반영을 요청해 보세요. 결과가 괜찮으면 스킬 문서에 반영해 달라고 해서 다음 영상부터 자동으로 적용되게 만들 수 있어요.