Sample 1
Modelo open 15B · Apache 2.0
Do retrato ao vídeo falante com lip-syncem um passo de IA grátis
Transforme uma foto mais um script ou áudio em um vídeo falante com lip-sync natural — áudio e vídeo gerados juntos com daVinci-MagiHuman.
- 15BParâmetros
- Apache 2.0Licença
- ~2sTempo real*
Live demo
Portrait → lip-synced talking video
Official open-source demos from GAIR Lab & Sand.ai
Browse all examplesContinua no estúdio
*Indicativo em GPU classe H100 a 256p; a velocidade real depende de configurações e hardware.
Examples
See daVinci-MagiHuman in action
Official demo clips from the open research release — expressive faces, natural speech, and audio–video generated together.
Demo
Sample 2
Sample 3
Sample 4
Sample 5
Sample 6
Sample 7
Clips adapted from the official GAIR-NLP / Sand.ai daVinci-MagiHuman demos (web-optimized, muted autoplay).
Visão geral
O que é daVinci-MagiHuman?
Modelo aberto e parceiros de pesquisa
daVinci-MagiHuman é um modelo de IA de código aberto de 15B desenvolvido pela Sand.ai e pelo GAIR Lab (Universidade Jiao Tong de Xangai), sob licença Apache 2.0: inspecionar pesos, inferir localmente e uso comercial dentro da licença.
Geração unificada áudio–vídeo
daVinci-MagiHuman recebe um retrato mais texto ou áudio e produz um vídeo falante com áudio correspondente. O Transformer de fluxo único da daVinci-MagiHuman remove ruído de vídeo e áudio juntos, não em pipelines separados.
Velocidade, qualidade e benchmarks
Em uma NVIDIA H100, daVinci-MagiHuman pode gerar um clipe curto 256p em ~2 s para ~2 s de conteúdo (conforme configurações e hardware). As avaliações de daVinci-MagiHuman mostram WER baixo e forte preferência humana frente a várias baselines.
Capacidades
Principais recursos
Seis motivos para avaliar daVinci-MagiHuman para avatares áudio–vídeo — os mesmos pontos fortes de daVinci-MagiHuman valem se você encontrar o modelo pela palavra-chave davinci-magihuman ou por artigos.
Áudio + vídeo unificados
daVinci-MagiHuman gera ambas as modalidades em uma única passagem — sem TTS e depois colar vídeo separadamente.
Foto de referência
daVinci-MagiHuman usa um único retrato como âncora visual da cabeça falante.
Multilíngue
daVinci-MagiHuman suporta vários idiomas para sincronização labial (conforme dados de treino e notas de versão).
Código aberto
Apache 2.0 — os pesos de daVinci-MagiHuman são utilizáveis e extensíveis comercialmente no âmbito da licença.
Inferência rápida
daVinci-MagiHuman: ~2 s para ~2 s em 256p em uma GPU classe H100 (conforme configuração).
Qualidade de ponta
daVinci-MagiHuman apresenta sólidos resultados de WER e preferência frente a Ovi 1.1 e LTX 2.3 em avaliações publicadas.
Benchmarks
Comparação da daVinci-MagiHuman
Resumo orientativo; os números variam conforme benchmarks e prompts. daVinci-MagiHuman relata ~14,6 % de WER contra ~40,5 % do Ovi 1.1 e vence amplamente em comparações humanas com Ovi e LTX 2.3.
WER e clareza da fala
WER mais baixo geralmente significa fala mais clara para daVinci-MagiHuman. A tabela compara faixas em protocolos semelhantes onde daVinci-MagiHuman é a baseline aberta.
Preferência humana
Estudos lado a lado mostram as saídas preferidas por naturalidade e alinhamento — inclusive quando daVinci-MagiHuman supera modelos fechados.
Licença e latência
Pesos abertos Apache 2.0 permitem hospedar daVinci-MagiHuman você mesmo; stacks proprietárias permanecem fechadas; o tempo varia conforme GPU e resolução para cada tarefa daVinci-MagiHuman.
| Modelo | WER (↓) | Preferência humana | Licença | Velocidade (indicativa) |
|---|---|---|---|---|
| daVinci-MagiHuman Destaque | ~14,6 % | ~80 % vs Ovi 1.1; forte vs LTX 2.3 | Apache 2.0 | ~2 s para ~2 s em 256p em 1× H100 (indicado) |
| Ovi 1.1 | ~40,5 % | Inferior ao daVinci nas comparações publicadas | Proprietária | Variável conforme API / implantação |
| LTX 2.3 | WER mais alto na mesma tabela (varia) | Perde na maioria vs daVinci nas avals humanas | Proprietária | Variável conforme resolução e stack |
Fluxo
Como usar daVinci-MagiHuman
1Input
Upload a clear portrait
2
“Turn one portrait into a lip-synced talking video…”
Drive
Add script or audio
3
Output
Get a lip-synced clip
1
Preparar retrato e roteiro
- Enviar um retrato — rosto claro de frente de preferência.
- Digitar o roteiro ou enviar arquivo de áudio — o modelo sincroniza os lábios com a fala.
2
Escolher resolução e gerar
- Escolher a resolução de saída — ex. 256p, 720p ou 1080p conforme stack de inferência e VRAM.
- Gerar e baixar o vídeo falante ao concluir o job.
3
Auto-hospedagem e Hugging Face Hub
Para execução local ou em servidor, baixe os checkpoints de daVinci-MagiHuman no Hub e siga o README para CLI e ambiente. A URL davinci-magihuman e o repositório daVinci-MagiHuman evoluem com os releases.
Exemplo (Python / Hugging Face)
# Load model weights from Hugging Face Hub (see official repo for exact APIs)
from huggingface_hub import snapshot_download
repo_id = "GAIR/daVinci-MagiHuman"
local_dir = snapshot_download(repo_id)
# Follow GAIR-NLP/daVinci-MagiHuman README for inference scripts and CLI flags.FAQ
Perguntas frequentes
Doze perguntas frequentes sobre daVinci-MagiHuman. Expanda qualquer item para detalhes.
O que é daVinci-MagiHuman?
daVinci-MagiHuman é um modelo áudio–vídeo de 15B da Sand.ai e GAIR Lab (SJTU) que transforma retrato mais texto ou áudio em clipe falante com lábios sincronizados.
daVinci-MagiHuman é grátis?
Os pesos e o código abertos de daVinci-MagiHuman estão sob Apache 2.0. Demos hospedadas podem ter outras condições; auto-hospedagem de daVinci-MagiHuman segue a licença.
Quais entradas são necessárias?
daVinci-MagiHuman normalmente exige imagem de rosto e texto ou áudio condutor; formatos e limites no README de inferência.
Comparação com Sora ou Veo?
São sistemas de vídeo gerais. daVinci-MagiHuman foca geração de cabeça falante áudio–vídeo com pesos abertos.
Uso comercial?
Apache 2.0 permite uso comercial de daVinci-MagiHuman sob condições. Verifique suas obrigações ao distribuir conteúdo gerado por daVinci-MagiHuman.
Onde baixar ou experimentar daVinci-MagiHuman?
Use a ficha do modelo e o Space do Hugging Face ligado nesta página, ou clone o repositório GitHub para scripts e checkpoints de daVinci-MagiHuman.
Quais idiomas para sincronização labial?
A cobertura de daVinci-MagiHuman depende do modelo e dos dados; veja o README para a lista de idiomas.
Qual GPU ou hardware?
O throughput de daVinci-MagiHuman depende da classe de GPU e da resolução; relatórios citam GPUs H100 para clipes curtos; GPUs mais fracas podem usar resoluções ou destilações menores.
Melhores resultados de retrato?
Com daVinci-MagiHuman: foto frontal nítida, luz uniforme, rosto neutro ou expressivo. Evite oclusão forte, ângulos extremos ou resolução muito baixa.
Áudio limpo em vez de texto?
Sim se o caminho de inferência de daVinci-MagiHuman suportar condicionamento por áudio; veja a documentação para formatos e durações.
Licença das saídas geradas?
Os pesos de daVinci-MagiHuman são Apache 2.0; o conteúdo gerado permanece sujeito ao seu uso, direitos sobre entradas e lei aplicável.
Onde reportar bugs ou pedir recursos?
Issues no GitHub do repositório GAIR-NLP/daVinci-MagiHuman, com logs, hardware e passos de reprodução.
Crie vídeos falantes com IA
Experimente o espaço público, baixe os pesos de daVinci-MagiHuman no Hugging Face ou clone o código aberto daVinci-MagiHuman no GitHub. Cada caminho segue o mesmo fluxo davinci-magihuman / daVinci-MagiHuman.
Espaço no navegador
Demo hospedada de daVinci-MagiHuman para teste rápido sem instalação.
Pesos no Hugging Face
Baixe os checkpoints de daVinci-MagiHuman e consulte a ficha do modelo para formatos, variantes e licença.
Código no GitHub
Clone os scripts de inferência de daVinci-MagiHuman, abra issues e acompanhe releases.