[AI 자동화] Claude와 Python으로 1시간 만에 유튜브 영상 자동 제작 시스템 만들기 (FFmpeg, ElevenLabs, HeyGen 연동)
유튜버 Nate Herk의 실험 방식을 바탕으로, 일반 크리에이터나 개발자가 직접 따라 해볼 수 있는 **‘Claude 에이전트 기반 영상 제작 자동화 시스템 구축 가이드’** 블로그 포스팅 원고를 작성해 드립니다. 블로그 독자들이 쉽게 이해하고 실습할 수 있도록 단계별 설정법과 실제 코드 예시를 포함했습니다.
# [AI 자동화] Claude와 Python으로 1시간 만에 유튜브 영상 자동 제작 시스템 만들기 (FFmpeg, ElevenLabs, HeyGen 연동)
안녕하세요! 최근 AI 기술이 발전하면서 대본 작성이나 썸네일 제작을 AI에게 맡기는 경우는 많아졌지만, **"프롬프트 한 줄만 넣으면 알아서 자료 조사, 대본 작성, 목소리 녹음, 아바타 생성, 영상 편집까지 끝내는 시스템"**이 가능하다는 사실, 알고 계셨나요?
유튜버 Nate Herk가 선보여 화제가 된 **Claude 기반의 엔드투엔드(End-to-End) 영상 제작 파이프라인**을 내 컴퓨터에 직접 구축하는 구체적인 방법을 핵심 코드와 함께 자세히 정리해 드립니다.
## 🛠️ 1단계: 필수 프로그램 및 개발 환경 설치
이 시스템은 AI가 코드를 실행하고 영상을 조작해야 하므로, 영상 처리 핵심 프로그램과 Python 환경이 필수적입니다.
### 1. FFmpeg 설치 (가장 중요)
FFmpeg는 AI가 영상을 자르고, 붙이고, 자막을 입힐 때 사용하는 커맨드라인 기반의 강력한 영상 편집 툴입니다.
* **Windows:** 1. [FFmpeg 공식 사이트]에서 빌드 버전을 다운로드합니다.
2. 압축을 풀고 C:\ffmpeg 등의 경로에 넣습니다.
3. 시스템 환경 변수(Path)에 C:\ffmpeg\bin을 추가합니다.
4. 명령 프롬프트(cmd)에서 ffmpeg -version을 입력해 설치를 확인합니다.
* **Mac:** 터미널을 열고 Homebrew를 통해 간단히 설치합니다.
```bash
brew install ffmpeg
```
### 2. Python 및 필수 라이브러리 설치
시스템을 제어할 Python(3.10 이상 추천)을 설치한 후, 터미널에서 아래 라이브러리들을 한 번에 설치해 줍니다.
```bash
pip install anthropic openai elevenlabs requests
```
## 🔑 2단계: API 키 발급 및 환경 변수 세팅
각 단계를 수행할 AI 서비스들의 API 키가 필요합니다. 각 공식 홈페이지에서 가입 후 키를 발급받으세요.
1. **Anthropic API (Claude):** 대본 작성 및 전체 워크플로우 제어 (컨트롤 타워)
2. **ElevenLabs API:** 내 목소리를 학습시킨 보이스 클로닝 음성 생성
3. **HeyGen API:** 음성에 맞춰 입 모양을 맞춰주는(Lip-sync) 비디오 아바타 생성
발급받은 키는 보안을 위해 OS 환경 변수에 등록하거나, 파이썬 코드 상단에 안전하게 정의합니다.
## 💻 3단계: 자동화 파이프라인 파이썬 코드 구현
이제 Claude에게 주제를 던져주면 시스템이 순차적으로 작동하는 코드를 짤 차례입니다. 전체적인 흐름은 다음과 같습니다.
### [Step A] Claude에게 대본 및 편집 지시서 요청하기
먼저 Claude에게 자료 조사와 함께 유튜버 스타일의 대본, 그리고 FFmpeg가 읽을 수 있는 편집 가이드를 JSON 형태로 출력하도록 요청합니다.
```python
import anthropic
client = anthropic.Anthropic(api_key="YOUR_CLAUDE_API_KEY")
def generate_script(topic):
prompt = f"""
주제 '{topic}'에 대한 1분 유튜브 쇼츠 대본을 작성해줘.
작성 시 주의할 점:
1. 내 목소리 톤(친근하고 전문적인 구어체)으로 작성할 것.
2. 철저한 팩트 체크를 반영할 것.
"""
message = client.messages.create(
model="claude-3-5-sonnet-20241022", # 현재 사용 가능한 최고 성능 모델
max_tokens=1500,
messages=[{"role": "user", "content": prompt}]
)
return message.content[0].text
script = generate_script("AI가 바꿀 미래의 영상 편집 시장")
print(" 생성된 대본:\n", script)
```
### [Step B] ElevenLabs로 음성 복제(Voice Cloning)하기
생성된 대본 텍스트를 내 목소리로 변환합니다. (미리 ElevenLabs에 1분 이상의 본인 목소리를 녹음해 VOICE_ID를 발급받아야 합니다.)
```python
import requests
def text_to_speech(text, output_path="voice.mp3"):
url = "https://api.elevenlabs.io/v1/text-to-speech/YOUR_VOICE_ID"
headers = {
"Accept": "audio/mpeg",
"Content-Type": "application/json",
"xi-api-key": "YOUR_ELEVENLABS_API_KEY"
}
data = {
"text": text,
"model_id": "eleven_monolingual_v1",
"voice_settings": {"stability": 0.5, "similarity_boost": 0.75}
}
response = requests.post(url, json=data, headers=headers)
if response.status_code == 200:
with open(output_path, "wb") as f:
f.write(response.content)
print(" 음성 파일 생성 완료!")
```
### [Step C] HeyGen API로 아바타 영상 만들기
생성된 음성 파일(voice.mp3)을 HeyGen API에 업로드하여, 내 아바타가 말하는 비디오 영상을 생성합니다.
```python
# HeyGen API 가이드를 참조하여 음성 파일과 아바타 ID를 전송하는 코드 예시
# 생성 성공 시 가상 공간에 아바ta 비디오(avatar.mp4)가 다운로드됩니다.
```
### [Step D] FFmpeg를 활용한 최종 영상 자동 편집
Claude가 대본 흐름에 맞춰 설계한 편집 규칙(예: 10초에 줌인, 20초에 자막 삽입 등)을 파이썬이 FFmpeg 명령어 코드로 변환하여 실행합니다.
```python
import os
def final_edit():
# 예시: 아바타 영상에 배경음악(bgm.mp3)을 합성하고 볼륨을 조절하는 FFmpeg 명령어
cmd = "ffmpeg -i avatar.mp4 -i bgm.mp3 -filter_complex '[1:a]volume=0.1[bgm];[0:a][bgm]amix=inputs=2:duration=first' -c:v copy output.mp4"
os.system(cmd)
print("🎬 최종 유튜브 영상 'output.mp4' 제작이 완료되었습니다!")
final_edit()
```
## 🚀 4단계: 시스템 실행 및 결과 확인
모든 스크립트 세팅이 끝났다면 터미널에 아래와 같이 입력합니다.
```bash
python main_automation.py
```
**약 10분~15분의 렌더링 시간**이 지나면, 데이터 조사부터 대본 작성, 아바타 촬영, 자막 및 배경음악 합성까지 끝난 완벽한 영상 한 편이 내 폴더에 저장됩니다. 1시간 동안 이 시스템을 반복 가동하면 수십만 토큰을 소모하며 여러 편의 쇼츠 영상을 인간의 개입 없이 찍어낼 수 있습니다.
## 💡 마치며: 크리에이터가 주목해야 할 점
이번 실험이 보여주는 핵심은 단순히 'AI가 글을 잘 쓴다'가 아닙니다. **Claude가 전체 워크플로우를 이해하고, 각기 다른 AI API(ElevenLabs, HeyGen)와 로컬 프로그램(FFmpeg)을 직접 제어하는 '에이전트' 역할을 수행할 수 있다는 점**입니다.
영상의 퀄리티를 높이고 싶다면 Claude에게 주는 첫 프롬프트에 구체적인 자막 스타일, 모션 그래픽 코드(Hyperframes 등) 지침을 추가해 보세요. 이제 편집 기술이 없어도 기획력만 있다면 누구나 대형 크리에이터처럼 다작할 수 있는 시대가 열렸습니다.
지금 바로 여러분만의 AI 영상 스튜디오를 구축해 보세요! 궁금한 점은 댓글로 남겨주세요.
댓글
댓글 쓰기