우리 집 고양이를 AI 인플루언서로 만들었습니다, 사진 한 장과 춤 영상 하나로 (Higgsfield AI Influencer 2.0)

한 줄 요약

샘 호트만이 고양이 사진 한 장과 춤 영상 하나로 Higgsfield AI Influencer 2.0을 돌려 자기 집 고양이 '복자'를 춤추는 AI 인플루언서로 만든 과정을 보여 줘요. 열흘 동안 14편을 만들며 크레딧을 날려 보고 얻은 결론은 하나예요. 얼굴은 우리 고양이가 정하지만 나머지는 거의 레퍼런스 영상이 정한다는 거예요.

전체 내용 정리

인스타그램 링크 하나로 고양이가 춤추는 시스템을 만들었어요

샘 호트만의 인스타그램 알고리즘에는 춤추는 고양이가 끝도 없이 나온다고 해요. 그래서 레퍼런스 링크만 던져 주면 자기 집 고양이 복자가 그 춤을 추는 시스템을 만들었습니다. 넣은 건 복자 사진 한 장과 춤 영상 하나가 전부예요.

샘은 인플루언서가 꼭 사람일 필요는 없다고 봅니다. 요즘은 사람이 아닌 캐릭터도 바이럴이 되고 그중에서도 고양이는 친근감을 쌓기 쉽거든요. 다만 버튼 몇 번 누르면 끝나는 일은 아니라고 선을 그어요. 열흘 동안 고양이 밈 14편을 만들었고 이번 영상에만 크레딧을 2,400 정도 썼다고 하니까요.

AI Influencer 2.0은 '대역 배우를 거꾸로 쓰는' 도구예요

하는 일은 단순합니다. 캐릭터를 하나 정해 두고 동작 영상을 주면 그 캐릭터가 같은 동작, 같은 타이밍, 같은 카메라로 다시 연기해요. 샘은 이걸 대역 배우를 거꾸로 쓰는 것에 비유합니다. 영화에서는 얼굴이 남고 몸이 바뀌는데 여기선 움직임이 남고 주인공이 바뀌거든요.

공식 예시는 사람이지만 빌더에는 고양이, 강아지, 새 같은 유형도 있어요. 샘의 정의는 이렇습니다. 같은 얼굴이 매번 새로운 행동을 하는 것, 그게 인플루언서예요. 밈은 매번 바뀌어도 사람들은 같은 고양이를 보러 다시 온다는 거죠. 순서는 네 단계로 정리돼요. 만들기 → 고정하기 → 움직이기 → 바꾸기.

빌더 결과는 버리고 원본 사진 시트로 고정했어요

빌더는 사진 한 장으로 시작할 수 있어서 복자 정면 사진을 올리고 유형·체형·털색을 사진에 맞췄어요. 설정을 비워 두면 모델이 빈칸을 알아서 채우거든요. 그런데 나온 건 곱슬 가발에 패턴 정장을 입은 고양이였습니다. 줄무늬와 코 위 흰 점은 복자가 맞는데 차림은 전혀 딴판이었죠. 지인의 고양이 뽀야도 주인 허락을 받고 넣어 봤더니 패치 붙은 데님 재킷이 나왔고 다시 돌리자 코수염까지 생겼어요.

이유는 간단해요. 빌더는 사람 인플루언서를 만드는 도구라서 고양이도 사람처럼 꾸며 주고 스타일 목록에 옷을 안 입는 선택지가 없거든요. 그래서 샘은 다음 단계부터 빌더 결과 대신 원본 사진을 넣었습니다. 정면, 옆, 뒷모습, 표정까지 모은 시트 한 장이에요. 영상마다 털무늬가 달라지면 같은 고양이로 안 보이니까 기준을 한 장으로 고정한 겁니다.

차림도 옷 대신 선글라스 하나로 고정했어요. 복자는 금테 동그란 선글라스, 뽀야는 검은 사각 선글라스를 썼어요. 둘이 한 화면에 나와도 누가 누군지 바로 보이고 모델이 둘을 헷갈리는 일도 줄어든다고 해요. 열흘 동안 14편을 돌려 보니 고양이는 연기할 필요가 없었다는 게 샘의 소감이에요. 춤은 레퍼런스 속 누군가가 추고 복자는 복자로 있으면 되니까요.

모션 트랜스퍼로 춤 영상을 복자에게 입혔어요

모션 탭의 모션 트랜스퍼로 넘어가면 동작을 고를 수 있어요. 사이트의 프리셋이나 커뮤니티 트렌드에서 고르거나 4초에서 30초 사이 영상을 직접 올리면 됩니다. 샘은 무대에서 춤추는 22초 영상을 올리고 캐릭터 칸에는 복자 시트를 넣었어요. 프롬프트에는 누가 누구 동작을 맡는지, 고양이 생김새와 선글라스를 적었고요.

무용수가 바닥까지 오는 흰 옷을 입고 있었는데 이런 옷은 고양이 몸에 털치마처럼 남기 쉬워서 옷 윤곽은 무시하라고 따로 적었다고 해요. 1080p로 생성했고 결과까지 11분쯤 걸렸습니다. 흰 옷은 남지 않았고 선글라스도 끝까지 붙어 있었어요.

검수할 때는 첫 1초, 중간, 가장 빠른 동작에서 멈춰서 하나만 묻는다고 해요. "이게 아직 복자인가?" 코 위 흰 점, 꼬리 줄무늬, 앞발에 사람 손가락 모양이 남았는지를 봅니다.

두 번째는 복자와 뽀야를 같이 넣은 25초 파티 영상이에요. 두 마리일 땐 누가 누구 동작을 맡는지 생김새와 위치로 적어야 한다고 샘은 강조합니다. '병 든 쪽'처럼 소품으로 적으면 소품이 넘어가는 장면에서 둘이 뒤바뀌거든요.

결과물에서는 복자가 병을 들고 등장하고 뽀야가 경호원처럼 따라와요. 계단에서는 휴대폰을 던지고 벽 그림도 선글라스 쓴 복자로 바뀌었습니다. 다만 그림이 처음엔 얼굴 하나였다가 2초 뒤 네 칸으로 바뀌고 앞발이 장갑처럼 뭉개지는 프레임도 있었어요. 한 번 잘 나왔다고 매번 잘 나오는 건 아니라서 이런 흠부터 찾는다고 해요.

레퍼런스 고르기는 대역 배우 캐스팅이에요

14편을 만들며 버린 생성들이 알려 준 결론은 얼굴은 우리 고양이가 정하지만 나머지는 거의 레퍼런스가 정한다는 거예요. 귀가 접힌 고양이 영상을 넣었더니 귀가 서 있는 복자도 귀가 접혀 나왔어요. 손에 든 꽃다발을 간식으로 바꿔 달라고 적었는데 세 번 다 꽃 그대로였고요.

1초도 안 되는 짧은 컷은 따라오지 못하고 늘어나서 음악이 밀렸어요. 배경만 밝게 해 달라고 했더니 방을 새로 그리면서 발 위치가 달라졌고요. 그래서 샘은 레퍼런스를 고르기 전에 세 가지만 먼저 보라고 해요. 머리 모양과 체형이 비슷한지, 아주 짧은 컷이 있는지, 바꾸고 싶은 소품이 손에 들려 있는지.

오브젝트 스왑으로 한 편을 열 편으로 늘려요, 비용은 이만큼 들고요

같은 메뉴 안의 오브젝트 스왑(Object Swap)은 동작은 그대로 두고 딱 하나만 바꿔요. 바꿀 대상을 적고 이미지 생성으로 만든 새 버전 이미지 한 장을 넣으면 됩니다. 동그란 선글라스를 빨간 하트 선글라스로 바꾸자 22초 내내 고개를 따라 움직였어요. 병을 우유병으로 바꾸니, 프롬프트로는 안 바뀌던 손의 소품이 여기선 바뀌었고요.

샘은 펫 브랜드와 협업하면 바로 이 자리에 제품이 들어간다고 봐요. 요즘 말하는 AI UGC가 이런 거라는 설명이에요. 배경은 무대를 노을 지는 바닷가 무대로 바꿨는데 앞쪽 관객의 손과 휴대폰은 그대로 남았습니다. 스왑 한 번에 6분에서 10분쯤 걸렸어요.

동작 하나에 차림 셋, 제품 셋, 배경 셋이면 한 편이 열 편이 돼요. 단, 한 번에 하나씩만 바꿔야 무너졌을 때 원인을 알 수 있다고 해요.

캐릭터 생성은 1.125 크레딧인데 무료 생성이 남아 있으면 무료예요. 영상은 22초 기준 720p가 154, 1080p가 440크레딧이었고 이미지는 한 장에 2크레딧, 스왑은 460에서 520크레딧이 들었어요. 오늘 영상 다섯 편에 2,400 정도가 들었다고 합니다. 처음이면 720p로 테스트하고 마음에 들 때 1080p로 뽑으라는 게 샘의 조언이에요.

그리고 AI로 만든 영상이라는 건 꼭 밝혀 달라고 당부합니다. 진짜 고양이가 춤추는 줄 알았다가 아닌 걸 알면 귀여움이 바로 배신감이 되니까요.

핵심 인사이트

• 결과의 대부분은 레퍼런스가 정해요: 귀 모양, 손에 든 소품, 컷 길이, 배경까지 레퍼런스 영상을 따라가요. 레퍼런스를 고르기 전에 이걸 모르면 크레딧이 그대로 날아간다는 게 샘의 경고예요. 그래서 대역 배우를 캐스팅하듯 레퍼런스를 고르라고 하죠.
• 일관성은 '고정'에서 나와요: 빌더 결과 대신 원본 사진 시트를, 옷 대신 선글라스 하나를 기준으로 고정했어요. 영상마다 털무늬가 달라지면 같은 고양이로 안 보이기 때문이에요.
• 변주는 한 번에 하나씩 해야 해요: 오브젝트 스왑으로 한 편을 열 편으로 늘릴 수 있지만 동시에 여러 개를 바꾸면 무엇 때문에 무너졌는지 알 수 없어요.

오늘 당장 해볼 것

1. 반려동물이나 브랜드 캐릭터의 정면·옆·뒷모습·표정 사진을 한 장의 시트로 묶어 보세요. 어떤 도구를 쓰든 이 시트가 일관성의 기준이 됩니다.
2. Higgsfield에서 720p로 짧은 동작 하나만 모션 트랜스퍼를 돌려 보세요. 결과를 첫 1초·중간·가장 빠른 동작에서 멈춰 보면 어디가 무너지는지 감이 옵니다.
3. 레퍼런스 영상을 고르기 전에 머리 모양·체형, 1초 미만 컷, 손에 든 소품 세 가지를 체크리스트로 확인해 보세요. 샘이 14편을 만들며 버린 생성에서 얻은 기준이라, 크레딧을 쓰기 전에 걸러 낼 수 있어요.