Muestra 1
Modelo abierto 15B · Apache 2.0
De un retrato a un vídeo parlante con lip-syncen un paso de IA gratis
Convierte una foto más un guion o audio en un vídeo parlante con lip-sync natural — audio y vídeo generados juntos con daVinci-MagiHuman.
- 15BParámetros
- Apache 2.0Licencia
- ~2sTiempo real*
Demo en vivo
Retrato → vídeo parlante con lip-sync
Demos open source oficiales de GAIR Lab y Sand.ai
Ver todos los ejemplosContinúa en el estudio
*Indicativo en GPU clase H100 a 256p; la velocidad real depende de ajustes y hardware.
Ejemplos
daVinci-MagiHuman en acción
Clips de demo de la versión de investigación abierta: caras expresivas, voz natural y audio-vídeo generados juntos.
Demo
Muestra 2
Muestra 3
Muestra 4
Muestra 5
Muestra 6
Muestra 7
Clips adaptados de las demos oficiales GAIR-NLP / Sand.ai (optimizados para web, autoplay silenciado).
Resumen
¿Qué es daVinci-MagiHuman?
Modelo abierto y socios de investigación
daVinci-MagiHuman es un modelo de IA de código abierto de 15B desarrollado por Sand.ai y el GAIR Lab (Universidad Jiao Tong de Shanghái), bajo licencia Apache 2.0: inspeccionar pesos, inferir localmente y uso comercial dentro de la licencia.
Generación unificada audio–vídeo
daVinci-MagiHuman toma un retrato más texto o audio y produce un vídeo parlante con audio emparejado. El Transformer de un solo flujo de daVinci-MagiHuman elimina ruido de vídeo y audio juntos, no en pipelines separados.
Velocidad, calidad y referencias
En una NVIDIA H100, daVinci-MagiHuman puede generar un clip corto 256p en ~2 s para ~2 s de contenido (según ajustes y hardware). Las evaluaciones de daVinci-MagiHuman muestran WER bajo y fuerte preferencia humana frente a varias baselines.
Capacidades
Funciones clave
Seis motivos para evaluar daVinci-MagiHuman para avatares audio–vídeo — los mismos puntos fuertes de daVinci-MagiHuman aplican si encuentras el modelo por la palabra clave davinci-magihuman o por artículos.
Audio + vídeo unificados
daVinci-MagiHuman genera ambas modalidades en un solo paso — sin TTS y luego pegar vídeo por separado.
Foto de referencia
daVinci-MagiHuman usa un solo retrato como ancla visual de la cabeza parlante.
Multilingüe
daVinci-MagiHuman admite varios idiomas para sincronización labial (según datos de entrenamiento y notas de versión).
Código abierto
Apache 2.0 — los pesos de daVinci-MagiHuman son utilizables y extensibles comercialmente en el marco de la licencia.
Inferencia rápida
daVinci-MagiHuman: ~2 s para ~2 s a 256p en una GPU clase H100 (según configuración).
Calidad puntera
daVinci-MagiHuman muestra sólidos resultados de WER y preferencia frente a Ovi 1.1 y LTX 2.3 en evaluaciones publicadas.
Comparativas
Comparación de daVinci-MagiHuman
Resumen orientativo; los números varían según benchmarks y prompts. daVinci-MagiHuman reporta ~14,6 % de WER frente a ~40,5 % de Ovi 1.1 y gana ampliamente en comparaciones humanas con Ovi y LTX 2.3.
WER y claridad del habla
Un WER más bajo suele significar habla más clara para daVinci-MagiHuman. La tabla compara rangos en protocolos similares donde daVinci-MagiHuman es la baseline abierta.
Preferencia humana
Los estudios lado a lado muestran las salidas preferidas por naturalidad y alineación — incluso cuando daVinci-MagiHuman supera modelos cerrados.
Licencia y latencia
Los pesos abiertos Apache 2.0 permiten autoalojar daVinci-MagiHuman; las pilas propietarias siguen cerradas; el tiempo varía según GPU y resolución para cada tarea daVinci-MagiHuman.
| Modelo | WER (↓) | Preferencia humana | Licencia | Velocidad (orientativa) |
|---|---|---|---|---|
| daVinci-MagiHuman Destacado | ~14,6 % | ~80 % vs Ovi 1.1; fuerte vs LTX 2.3 | Apache 2.0 | ~2 s para ~2 s a 256p en 1× H100 (indicado) |
| Ovi 1.1 | ~40,5 % | Inferior a daVinci en comparaciones publicadas | Propietaria | Variable según API / despliegue |
| LTX 2.3 | WER más alto en la misma tabla (varía) | Pierde mayoritariamente vs daVinci en evals humanas | Propietaria | Variable según resolución y stack |
Flujo
Cómo usar daVinci-MagiHuman
1Entrada
Sube un retrato nítido
2
“Turn one portrait into a lip-synced talking video…”
Impulso
Añade guion o audio
3
Salida
Obtén un clip con lip-sync
1
Preparar retrato y guion
- Subir un retrato — rostro claro de frente preferiblemente.
- Introducir el guion o subir un archivo de audio — el modelo sincroniza los labios con el habla.
2
Elegir resolución y generar
- Elegir la resolución de salida — p. ej. 256p, 720p o 1080p según stack de inferencia y VRAM.
- Generar y descargar el vídeo parlante al terminar el trabajo.
3
Autoalojamiento y Hugging Face Hub
Para ejecución local o en servidor, descarga los checkpoints de daVinci-MagiHuman desde el Hub y sigue el README para CLI y entorno. La URL davinci-magihuman y el repo daVinci-MagiHuman evolucionan con los releases.
Ejemplo (Python / Hugging Face)
# Load model weights from Hugging Face Hub (see official repo for exact APIs)
from huggingface_hub import snapshot_download
repo_id = "GAIR/daVinci-MagiHuman"
local_dir = snapshot_download(repo_id)
# Follow GAIR-NLP/daVinci-MagiHuman README for inference scripts and CLI flags.FAQ
Preguntas frecuentes
Doce preguntas frecuentes sobre daVinci-MagiHuman. Amplía cada ítem para más detalle.
¿Qué es daVinci-MagiHuman?
daVinci-MagiHuman es un modelo audio–vídeo de 15B de Sand.ai y GAIR Lab (SJTU) que convierte retrato más texto o audio en clip parlante con labios sincronizados.
¿daVinci-MagiHuman es gratis?
Los pesos y el código abiertos de daVinci-MagiHuman están bajo Apache 2.0. Las demos alojadas pueden tener otras condiciones; el autoalojamiento de daVinci-MagiHuman sigue la licencia.
¿Qué entradas necesita?
daVinci-MagiHuman suele requerir una imagen de rostro y texto o audio conductor; formatos y límites en el README de inferencia.
¿Comparación con Sora o Veo?
Son sistemas de vídeo generales. daVinci-MagiHuman se centra en generación de cabeza parlante audio–vídeo con pesos abiertos.
¿Uso comercial?
Apache 2.0 permite uso comercial de daVinci-MagiHuman bajo condiciones. Revisa tus obligaciones al distribuir contenido generado por daVinci-MagiHuman.
¿Dónde descargar o probar daVinci-MagiHuman?
Usa la ficha del modelo y el Space de Hugging Face enlazado en esta página, o clona el repo de GitHub para scripts y checkpoints de daVinci-MagiHuman.
¿Qué idiomas para sincronización labial?
La cobertura de daVinci-MagiHuman depende del modelo y los datos; consulta el README para la lista de idiomas.
¿Qué GPU o hardware?
El rendimiento de daVinci-MagiHuman depende de la clase de GPU y la resolución; los informes citan GPUs H100 para clips cortos; GPUs más débiles pueden usar resoluciones o destilaciones menores.
¿Mejores resultados de retrato?
Con daVinci-MagiHuman: foto frontal nítida, luz uniforme, rostro neutro o expresivo. Evita oclusión fuerte, ángulos extremos o resolución demasiado baja.
¿Audio limpio en lugar de texto?
Sí si la ruta de inferencia de daVinci-MagiHuman admite condicionamiento por audio; consulta la documentación para formatos y duraciones.
¿Licencia de las salidas generadas?
Los pesos de daVinci-MagiHuman son Apache 2.0; el contenido generado sigue sujeto a tu uso, derechos sobre las entradas y la ley aplicable.
¿Dónde reportar bugs o pedir funciones?
Issues en GitHub del repo GAIR-NLP/daVinci-MagiHuman, con logs, hardware y pasos de reproducción.
Crea vídeos parlantes con IA
Prueba el espacio público, descarga los pesos de daVinci-MagiHuman en Hugging Face o clona el código abierto de daVinci-MagiHuman en GitHub. Cada ruta sigue el mismo flujo davinci-magihuman / daVinci-MagiHuman.
Espacio en el navegador
Demo alojada de daVinci-MagiHuman para probar rápido sin instalación.
Pesos en Hugging Face
Descarga los checkpoints de daVinci-MagiHuman y consulta la ficha del modelo para formatos, variantes y licencia.
Código en GitHub
Clona los scripts de inferencia de daVinci-MagiHuman, abre issues y sigue los releases.