Higgsfield API를 이용해서 바이럴된 밈 영상을 대량으로 만들어보자 (코드, 스킬 전부 제공!)

한 줄 요약

레퍼런스 밈 영상과 사진만 넣으면 Claude가 영상을 분석하고 프롬프트까지 써서 새 밈 영상을 뽑아 주는 시스템이에요. Higgsfield API로 만들었고, 실제로 얼마가 들었는지 비용까지 공개합니다.

전체 내용 정리

영상과 사진만 넣으면 계속 나오는 시스템을 만들었어요

샘 호트만은 인스타그램에서 유행하는 릴스 속 주인공을 전부 자기 얼굴로 바꿔 보여 주며 시작합니다. 원본 밈 영상에 자기 사진만 넣은 거예요.

그런데 한 편씩 손으로 만들면 재미로 끝나죠. 그래서 레퍼런스 영상만 넣으면 계속 뽑아 주는 시스템으로 만들었습니다.

사람이 하는 일은 영상과 사진을 넣는 것까지예요. 그 뒤에는 시스템이 영상 속 인물과 움직임, 사진 속 인물을 파악합니다. Claude가 여러 스킬(skill)을 써서 영상을 이해하고 프롬프트까지 직접 쓰고요. 코드는 그대로 공개하고, 필요한 건 Higgsfield API 키 하나뿐입니다.

API는 주방으로 들어가는 주문서예요

API를 처음 접하는 분을 위해 식당에 비유합니다.

Higgsfield 사이트에서 버튼을 눌러 영상을 만드는 건 식당에 직접 가서 먹는 것과 같아요. 메뉴판도 자리도 식당이 정한 그대로죠.

API는 주방으로 바로 들어가는 주문서입니다. 내 앱이나 자동화 도구가 모델과 프롬프트, 화면 비율을 적어 보내면 완성된 이미지나 영상이 돌아와요. 사이트에서는 사람이 버튼을 눌러야 한 개가 나오지만, API는 프로그램이 주문서를 대신 씁니다. 스프레드시트에 상품 100개를 적어 두면 주문서 100장이 알아서 들어가고 결과물이 폴더에 쌓이는 식이에요.

API 키는 주문서에 찍는 도장입니다. 누가 주문했고 어디서 요금을 뺄지 알려 주니까 남에게 보여 주면 안 돼요. 요금은 월 구독이 아니라 지갑에 충전해 두고 생성할 때마다 빠지는 방식이고, 실패한 요청은 청구되지 않습니다.

키를 발급받고 모델을 고릅니다

설명란 링크로 들어가면 Higgsfield API 온보딩 페이지가 나와요. 대시보드에서 키 이름을 "유튜브 데모"로 정해 발급받은 뒤 메모장에 보관합니다. Claude Code나 Codex에 바로 붙여 넣을 수 있는 셋업 프롬프트도 제공돼요.

모델(Models) 메뉴에는 다른 플랫폼에 없는 별도의 밈 영상 모델이 있고, MiniMax나 Seedance 같은 타사 모델도 돌릴 수 있습니다.

가장 큰 장점은 Higgsfield 자체 하네스(harness) 위에서 만든 모델과 마케팅 스튜디오, 시네마 스튜디오까지 자동화에 쓸 수 있다는 점이에요. Higgsfield 자체 모델은 로컬에서도 못 돌리니까 쓰는 만큼만 내는 구조가 합리적이라고 합니다. 결제는 탑업(Top up)에서 충전 금액을 정하면 돼요.

입력과 출력만 이해하면 됩니다

샘은 명령어 자체보다 무엇을 입력하면 어떤 결과가 나오는지 이해하는 게 중요하다고 말해요.

입력은 레퍼런스 비디오이고, 여기에 자기 얼굴이나 유명 인사 이미지, 프롬프트를 넣습니다. 화질은 720으로 정해 자동화할 예정이고요.

목표는 이렇습니다. 레퍼런스 영상을 리서치해 두고, 따로 보관한 이미지를 알아서 넣어 프롬프트를 구성한 뒤 밈 영상을 수급하는 것. 만들 때는 공식 문서 링크를 주고 만들어 달라고 했고, 이미지와 영상은 수급할 때마다 검수하게 했어요. 프로젝트 폴더에 .env 파일을 만들어 API 키를 붙여 넣으면 준비가 끝납니다.

폴더 하나가 밈 영상 한 편이에요

작업을 시작하면 작업(work) 폴더 아래에 밈 하나당 폴더가 하나씩 생깁니다.

입력 영상이 올라가는 동안 시스템이 영상을 분석하고, 샘은 자기 집 고양이 사진을 넣었어요. 시간이 지나면 결과 영상이 최종(final) 폴더에 만들어집니다.

영상 분석과 이미지 프롬프트 작성용 스킬은 따로 만들었는데, 정답은 아니라서 써 보며 조금씩 깎아 나가야 한다고 말해요.

원래 하려던 영상은 NSFW 검열에 걸려서 다른 바이럴 영상으로 진행했고, 일부 유명 인사 이미지도 검열에 걸려 돌아가지 않았습니다. 검열에 걸리면 크레딧은 전부 반환되니까 걱정하지 않아도 돼요.

결과는 꽤 좋았지만 얼굴이 뭉개졌어요

완성된 영상은 어느 정도 잘 구현됐지만, 모션 트랜스퍼(motion transfer) 모델이 완벽하진 않았습니다.

미고스(Migos) 멤버 두 명이 나오는 바이럴 영상으로 샘 알트먼과 샘 호트만이 듀오로 랩을 하는 버전을 만들어 봤어요. 그런데 다른 인종의 얼굴을 섞으니 얼굴이 뭉개지는 현상이 있어서 만족도가 높지 않았습니다. 프롬프트를 다듬으면 좋아질 거라고 기대해요.

반면 고양이 같은 동물은 잘 움직였습니다. 다만 영상이 길어지면 비용이 크게 늘어나요.

한 편에 얼마가 들까요

19달러 인기 플랜 기준 크레딧으로는 여섯 편에 48달러가량 들었습니다. 사용한 모델이 비싼 편이라 API 단위로는 71달러가량 나갔고, 해상도는 편마다 조금씩 다르게 측정했어요.

추천 방식은 이렇습니다.

1. 480p 가장 싼 화질로 4~10초만 잘라 먼저 돌려 보기
2. 잘 되면 전체 영상 넣기
3. 정말 올리고 싶은 것만 해상도 올리기

밈은 10초 이내면 충분하다고 봅니다. 이번엔 보여 주려고 긴 영상을 썼기 때문에 비용이 높아졌어요. 바이럴을 노린다면 이 정도는 투자할 만하다고 보고요.

다른 자동화로는 MiniMax H3를 써 볼 예정이고, 이미지 대량 생성에는 광고 모델을 파인튜닝한 소울(Soul) 모델과 이디오그램(Ideogram), Grok 이미지 모델을 쓸 것 같다고 합니다.

핵심 인사이트

• API는 사람 대신 주문서를 쓰는 프로그램이에요: 사이트에서는 버튼을 한 번 눌러야 한 편이 나오지만, API로 연결하면 목록만 채워 두면 수십, 수백 건이 폴더에 쌓입니다. 반복 콘텐츠 제작이 자동화되는 지점이 여기예요.
• 종량제는 테스트 설계가 곧 비용 관리입니다: 구독 없이 쓴 만큼만 나가는 대신, 긴 영상을 높은 화질로 돌리면 금세 비싸져요. 480p에 4~10초로 검증한 뒤 본편을 돌리는 순서가 돈을 아낍니다.
• 입출력을 이해하면 나머지는 AI가 짭니다: 명령어를 외우지 않아도 레퍼런스 영상, 사진, 프롬프트가 들어가 영상이 나온다는 흐름만 알면 Claude가 스킬과 코드를 만들어요. 대신 결과가 완벽하지 않으니 스킬은 계속 깎아 나가야 합니다.

오늘 당장 해볼 것

1. 자동화를 맡길 업체나 도구에 "API 종량제 방식인가요, 실패한 요청은 청구되나요?"라고 물어보세요. 월 구독과 건당 요금 중 우리 사용량에 맞는 쪽이 보입니다.
2. 맡길 반복 업무 하나를 골라 "무엇을 넣으면 무엇이 나와야 하는지"를 한 줄로 적어 보세요. "상담 녹취 넣으면 요약본이 나온다"처럼요.
3. 업체에 처음부터 전체를 돌리지 말고 작은 샘플로 먼저 테스트한 뒤 본편을 진행해 달라고 요청하세요. 그리고 API 키는 절대 채팅이나 메일로 공유하지 않는다는 규칙을 정해 두시고요.