보이스 · 오디오 AI 업계 지도 99곳 — ElevenLabs · OpenAI · Suno부터 슈퍼톤 · Perso.ai · Qwen3-TTS까지

텍스트 생성 AI가 자리를 잡은 뒤 가장 빠르게 유료 과금과 엔터프라이즈 도입이 폭발한 영역은 목소리와 소리(Voice & Audio AI)입니다. 불과 2년 전만 해도 기계음이 섞인 문장 읽기(TTS) 수준에 머물렀던 음성 AI는 이제 3초 분량의 참조 음성만으로 숨소리와 감정 억양까지 복제하는 제로샷 보이스 클로닝, 300ms(0.3초) 이내에 끼어들기(Barge-in)까지 처리하는 실시간 전화·상담 에이전트, 프롬프트 한 줄로 보컬·반주·마스터링 완곡을 뽑아내는 AI 음악 스튜디오, 입모양(Lip-sync)까지 다국어로 맞물리는 영상 자동 더빙의 4대 산업으로 분화했습니다.

오늘 공개하는 보이스 · 오디오 AI 업계 지도는 미국·글로벌, 한국(KR), 일본(JP), 중국(CN), 유럽(EU) 5개 권역의 핵심 플레이어 99곳을 전수 조사해 △① TTS & Voice Cloning(음성 합성 · 보이스 클로닝) △② Real-Time Voice Agents & STT(실시간 보이스 에이전트 · 음성인식) △③ AI Music & Sound Effects(AI 음악 · 보컬 · 효과음) △④ Video Dubbing & Localization(영상 더빙 · 립싱크 · 다국어 현지화) 4개 카테고리와 Tier 1 / Tier 2 / Rising / Open Source 4개 티어로 분류하고, 각 수치의 3단계 검증 배지(✔ 공식 확인 / △ 추정·비공개 / ✘ 미확인)와 1차 출처 링크(src)를 함께 수록했습니다.

• 인터랙티브 마켓맵 바로가기: 보이스 · 오디오 AI 업계 지도 (/ko/maps/voice-audio-ai/)

---

1. 시장 구조: 왜 지금 '보이스 · 오디오 AI'에 돈이 몰리는가

오디오 AI 시장의 수익 구조는 크게 크리에이터·미디어 제작 도구(Top-line 구독 과금)와 실시간 통화·상담·인프라 API(사용량 분당·글자당 종량제) 두 축으로 돌아갑니다.

1. TTS & 보이스 클로닝의 유니콘 독주와 오픈소스의 추격: 영국·미국 기반의 ElevenLabs는 Series C에서 기업가치 33억 달러(약 4.5조 원)를 인정받으며 ARR(연간 반복 매출) 1억 달러+를 돌파했습니다. 반면 로컬 GPU 한 장에서 상용 API의 90% 이상 품질을 내는 Qwen3-TTS(알리바바), VoxCPM2(OpenBMB), GPT-SoVITS, CosyVoice 2, Fish Speech(Fish Audio), Chatterbox(Resemble AI) 등 오픈소스 가중치가 쏟아지며 대량 오디오북·게임 NPC 대사 생성 단가를 10분의 1 이하로 끌어내리고 있습니다. 2. 실시간 보이스 에이전트(Voice Agent)의 'Sub-500ms' 전쟁: 사람이 자연스러운 대화라고 느끼는 응답 지연 한계선은 300~500ms입니다. 과거 STT(음성인식) → LLM(추론) → TTS(음성합성) 3단 파이프라인은 평균 1.5~3초가 걸렸지만, Cartesia(Sonic · 첫 바이트 40~75ms), Deepgram(Nova-3 + Aura), OpenAI Realtime API(Speech-to-Speech), 그리고 이를 엮어 전화망(SIP/WebRTC)에 붙이는 오케스트레이션 레이어인 Retell AI · Vapi · Bland AI · LiveKit Agents · Pipecat(Daily)가 결합하면서 콜센터·병원 예약·물류 배차 전화 자동화 시장이 가장 가파른 B2B 매출원을 형성했습니다. 3. AI 음악 생성의 폭발과 음반사 소송·라이선스 재편: Suno와 Udio는 월 수천만 곡이 생성되는 소비자·크리에이터 플랫폼으로 부상했으나, RIAA(미국음반산업협회 · 유니버설/소니/워너)로부터 저작권 침해 소송에 직면했습니다. 이에 따라 상업용 광고·게임·방송 BGM 시장에서는 라이선스 클린 학습 데이터를 내세운 Stability Audio(Stable Audio 2.0), Soundraw, 한국의 포자랩스(Pozalabs), 뉴튠(MixAudio), 그리고 중국 곤륜만유의 Mureka(SkyMusic)가 기업 고객을 흡수하고 있습니다. 4. K-웹툰 · K-콘텐츠 · 이커머스가 키운 영상 더빙 & 로컬라이제이션: 유튜브의 다국어 오디오 트랙 지원 이후 크리에이터와 미디어 기업의 더빙 수요가 폭발했습니다. 글로벌에서는 HeyGen(Video Translate), Rask AI, Sync Labs, ElevenLabs Dubbing Studio, Camb.ai가 앞서 나가고 있으며, 한국에서는 이스트소프트(Perso.ai), 슈퍼톤(Supertone · HYBE), 타입캐스트(네오사피엔스), 네이버(파파고 더빙 · 클로바 더빙), 허드슨AI(액팅 더빙), 보이스루(자메이크), 트위그팜(헤이조이)이 웹툰·예능·강의·숏폼 수출의 핵심 인프라로 자리 잡았습니다.

---

2. 4대 카테고리별 핵심 플레이어 및 분당 단가 · 지연시간 비교

보이스 · 오디오 AI 업계 지도에 수록된 99곳 중 카테고리별 대표 주자의 기술 스펙과 과금 체계를 요약하면 다음과 같습니다.

| 카테고리 | 대표 플레이어 (권역) | 핵심 지표 · 기업가치 (검증) | 지연시간 (TTFA/왕복) | 대표 단가 · 과금 공식 | |---|---|---|---|---| | ① TTS & Voice Cloning | ElevenLabs (US/Global) | 기업가치 $3.3B · ARR $100M+ (✔) | Flash v2.5 ~75ms | 월 $5~$330 · 약 $0.06~$0.18/분 | | ① TTS & Voice Cloning | Cartesia (US/Global) | 시드·시리즈A $91M 누적 (✔) | Sonic TTFA ~40ms | 월 $5~$299 · 초저지연 스트리밍 크레딧 | | ① TTS & Voice Cloning | 수퍼톤 Supertone (KR) | HYBE 450억 원 인수 (✔) | 실시간 보이스 체인저 ~45ms | Shift · Play 구독 및 B2B 엔터 라이선스 | | ① TTS & Voice Cloning | 타입캐스트 Typecast (KR) | 누적 가입자 200만+ (✔) | 스튜디오 합성 1~2초 | 월 $8.99~$89 · 캐릭터 감정 연기 특화 | | ① TTS & Voice Cloning | Qwen3-TTS / CosyVoice (CN · OS) | 알리바바 오픈소스 (✔) | 스트리밍 ~150ms | Apache 2.0 자체 호스팅 무료 (GPU 비용만) | | ② Voice Agents & STT | Deepgram (US/Global) | 누적 투자 $85M+ · Nova-3 (✔) | STT <200ms · Aura TTS <150ms | STT $0.0043/분 · TTS $0.015/1천 자 | | ② Voice Agents & STT | Retell AI / Vapi / Bland (US/Global) | 월 수천만 통화 처리 (△) | E2E 대화 왕복 500~700ms | 분당 $0.05~$0.15 (STT+LLM+TTS+통신 합산) | | ② Voice Agents & STT | LiveKit Agents (US/Global · OS) | 시리즈B $45M · OpenAI 실시간 인프라 (✔) | WebRTC 엣지 <100ms 전송 | 오픈소스 프레임워크 무료 + Cloud 분당 과금 | | ② Voice Agents & STT | 리턴제로 Return Zero (KR) | VITO · Callabo 한국어 1위권 (✔) | 한국어 전화·회의록 실시간 | B2C 프리미엄 + AICC 엔터프라이즈 구축 | | ③ AI Music & SFX | Suno / Udio (US/Global) | Suno $125M 투자 · 기업가치 $500M (✔) | 곡 생성 15~30초 (스트리밍 프리뷰) | 월 $10~$30 구독 (유료 플랜에 상업 권리 부여) | | ③ AI Music & SFX | Stability Audio (US/Global) | Stable Audio 2.0 / Open (✔) | 3분 스테레오 트랙 ~20초 | 월 $12~$99 · AudioSparx 라이선스 학습 | | ③ AI Music & SFX | 포자랩스 / 뉴튠 (KR) | 한국 대표 B2B·크리에이터 AI 작곡 (✔) | 스템·트랙 즉시 생성 | LAIVE · MixAudio 구독 및 방송·게임 납품 | | ④ Video Dubbing | HeyGen / Rask AI (US/Global) | HeyGen 기업가치 $500M · ARR $35M+ (✔) | 립싱크 포함 영상 번역 수 분 | 분당 약 $1~$3 크레딧 차감 · 팀/엔터 구독 | | ④ Video Dubbing | 이스트소프트 Perso.ai (KR) | 글로벌 가입자 20만+ · K-더빙 선두 (✔) | 다국어 화자 분리·립싱크 자동화 | 월 구독 + 분당 크레딧 · 기업 맞춤형 |

---

3. 스택 계층도: 실시간 보이스 에이전트 1분 통화 원가는 어떻게 쪼개지는가

콜센터 자동화나 AI 전화 예약 서비스를 만들 때 개발자와 기안자가 가장 많이 착각하는 지점은 "표면 API 가격 = 실제 분당 원가"라고 생각하는 것입니다. 실제로는 5개의 레이어가 동시에 과금됩니다.

• Layer 1 — 오디오 전송 · WebRTC / SIP 트렁킹 ($0.004 ~ $0.015 / 분): Twilio, Telnyx, Vonage(전화망 연동) 및 LiveKit, Daily, Agora(초저지연 WebRTC 룸·네트워크 지터 보정 및 VAD/에코 캔슬링).
• Layer 2 — 실시간 STT 음성인식 ($0.004 ~ $0.012 / 분): Deepgram Nova-3, AssemblyAI Universal-2, Gladia, Groq Whisper, 리턴제로 VITO, CLOVA Speech. 발화 종료 시점(Endpointing) 감지가 100ms만 늦어져도 전체 대화가 어색해집니다.
• Layer 3 — 대화 추론 LLM ($0.005 ~ $0.040 / 분): GPT-4o-mini, Claude 3.5 Haiku, Gemini 2.0 Flash 등 초저지연(TTFT < 250ms) 경량 모델이 주력입니다. 또는 OpenAI Realtime API / Gemini Live / Kyutai Moshi처럼 오디오 토큰을 직접 입출력하는 네이티브 Speech-to-Speech 모델(분당 약 $0.06~$0.24)로 Layer 2~4를 단일 통합하기도 합니다.
• Layer 4 — 초저지연 스트리밍 TTS ($0.015 ~ $0.060 / 분): Cartesia Sonic, ElevenLabs Flash v2.5, PlayHT, Rime AI, OpenAI TTS.
• Layer 5 — 보이스 오케스트레이션 플랫폼 ($0.05 ~ $0.09 / 분 기본료 + 원가 패스스루): Vapi, Retell AI, Bland AI, Synthflow. 끼어들기(Barge-in) 제어, 통화 녹음, 함수 호출(예약/결제 API 연동), 침묵 감지를 턴키로 묶어 주지만, 패스스루 비용을 합산하면 실제 1분 통화 총원가는 $0.09 ~ $0.22 / 분에 형성됩니다.

---

4. 상용 API vs 오픈소스 로컬 호스팅(Open Weights) 손익분기점과 라이선스 함정

최근 1년 사이 중국·글로벌 오픈소스 오디오 진영의 약진은 텍스트 LLM 못지않게 파괴적입니다. 하지만 코드 라이선스(Apache/MIT)와 모델 가중치(Weights)의 상업적 이용 조건이 다른 경우가 많아 도입 전 반드시 확인해야 합니다.

1. 상업적 이용이 자유로운(Apache 2.0 / MIT) 핵심 오픈소스:

• Qwen3-TTS / CosyVoice 2 (알리바바 FunAudioLLM): 다국어(한·영·일·중 포함) 제로샷 클로닝과 감정 스트리밍 합성을 지원하며 Apache 2.0으로 상업 서비스 내장이 가능합니다.
• GPT-SoVITS (RVC-Boss): 단 5초~1분 음성 파인튜닝으로 한·일·중·영 최고 수준의 음색 복제력을 보여주며 MIT 라이선스입니다.
• Chatterbox (Resemble AI) & F5-TTS & Kokoro-82M: MIT / Apache 2.0 기반으로 로컬 RTX 4090 / L40S 한 장에서 수십 개 동시 스트림을 처리합니다.
• VOICEVOX (일본 히호): 엔진은 LGPL이지만 캐릭터 보이스 라이브러리마다 상업 이용·크레딧 표기 규정이 별도이므로 캐릭터별 약관을 대조해야 합니다.

2. 비상업 제한(CC-BY-NC) 또는 엔터프라이즈 별도 계약이 필요한 가중치:

• Fish Speech (Fish Audio): 코드는 오픈소스이나 최신 가중치 일부에 CC-BY-NC-SA 4.0(비상업)이 적용되어 상업 배포 시 공식 API나 상업 라이선스를 거쳐야 합니다.
• Meta AudioCraft (MusicGen / AudioGen) 및 Stability Stable Audio Open: 코드(MIT)와 달리 모델 가중치는 CC-BY-NC 4.0(비상업)이므로, 자체 서버에 올려 유료 고객에게 음원을 파는 행위는 약관 위반입니다(상업용은 Stability Audio 공식 API나 별도 라이선스 필요).

---

5. 딥페이크 · 성우 퍼블리시티권 · 플랫폼 약관 안전선

보이스 클로닝과 AI 음악·더빙을 실제 비즈니스에 적용할 때 반드시 지켜야 할 3대 법적·플랫폼 안전선입니다.

• 무단 보이스 클로닝 금지 및 본인 인증(Voice Captcha) 의무화: 미국 FTC 규정과 테네시주 ELVIS Act(2024년 발효 — 아티스트의 목소리 무단 AI 복제까지 퍼블리시티권 보호 확대), 유럽 AI Act 투명성 의무에 따라 ElevenLabs, OpenAI Audio, 수퍼톤, 타입캐스트 등 주요 상용 플랫폼은 타인의 목소리를 클로닝할 때 실시간 지정 문구 낭독(Voice Captcha)을 통한 본인 동의 검증과 비가청 워터마크(Audio Seal / C2PA)를 강제하고 있습니다.
• 유튜브 · 틱톡 · 스포티파이의 AI 음성·음악 라벨링 및 수익화 정책: 유튜브는 실존 인물의 목소리나 얼굴을 합성한 콘텐츠에 '변형되거나 합성된 콘텐츠(Altered or synthetic content)' 라벨 부착을 의무화했으며, 스포티파이·애플뮤직 등 스트리밍 플랫폼은 봇을 동원한 AI 음원 스트리밍 어뷰징과 아티스트 사칭 보컬 트랙을 즉시 삭제·정산 보류하고 있습니다.
• 무료 플랜 생성물의 상업적 사용 금지 조항: Suno, Udio, ElevenLabs, 타입캐스트 등 대부분의 생성형 오디오 서비스는 무료 티어(Free tier)에서 생성한 음원·음성에 상업적 권리(유튜브 수익 창출, 광고 집행, 게임 납품)를 부여하지 않습니다. 반드시 유료 구독 기간 중 생성된 에셋인지 영수증·메타데이터를 보관해야 분쟁을 예방할 수 있습니다.

---

6. 보이스 · 오디오 AI 업계 지도 사용 안내

이번 보이스 · 오디오 AI 업계 지도에서는 다음 필터와 정렬 기능을 즉시 사용할 수 있습니다.

• 카테고리 필터(cat): ① TTS & Voice Cloning · ② Real-Time Voice Agents & STT · ③ AI Music & Sound Effects · ④ Video Dubbing & Localization (보조 영역 포함 체크박스 지원)
• 지역 필터(region): 미국 · 글로벌 (US/Global) · 한국 (KR) · 일본 (JP) · 중국 (CN) · 유럽 (EU)
• 티어 필터(tier): Tier 1 (글로벌 리더·유니콘) · Tier 2 (주요 상용 강자) · Rising (급성장 신흥) · Open Source (오픈소스 가중치·프레임워크)
• 검증 단계(v) 및 상세 펼침: 각 행을 클릭하면 설립연도 · 운영사 · 누적 투자/밸류에이션 · 지연시간 · 분당/월 단가 · 오픈소스/라이선스 조건 · 1차 출처 링크(src)가 펼쳐집니다.

👉 지금 보이스 · 오디오 AI 업계 지도(99곳) 전체 보기