Beispiel 1
15B Open Model · Apache 2.0
Vom Porträt zum lippensynchronen Talking-Videoin einem kostenlosen KI-Durchlauf
Aus einem Foto plus Skript oder Audio wird ein natürlich lippensynchrones Talking-Video — Audio und Video gemeinsam mit daVinci-MagiHuman.
- 15BParameter
- Apache 2.0Lizenz
- ~2sWall-Time*
Live-Demo
Porträt → lippensynchrones Sprechvideo
Offizielle Open-Source-Demos von GAIR Lab & Sand.ai
Alle Beispiele ansehenWeiter im Studio
*Indikativ auf H100-Klasse bei 256p; tatsächliche Geschwindigkeit abhängig von Einstellungen und Hardware.
Beispiele
daVinci-MagiHuman in Aktion
Offizielle Demo-Clips der Open-Research-Release — ausdrucksstarke Gesichter, natürliche Sprache, Audio und Video in einem Durchlauf.
Demo
Beispiel 2
Beispiel 3
Beispiel 4
Beispiel 5
Beispiel 6
Beispiel 7
Clips aus den offiziellen GAIR-NLP / Sand.ai daVinci-MagiHuman-Demos (weboptimiert, stumm Autoplay).
Überblick
Was ist daVinci-MagiHuman?
Offenes Modell und Forschungspartner
daVinci-MagiHuman ist ein 15B-Parameter-Open-Source-KI-Modell von Sand.ai und dem GAIR Lab der Shanghai Jiao Tong University. Es steht unter der Apache-2.0-Lizenz: Gewichte prüfen, lokal inferieren und kommerziell innerhalb der Lizenz nutzen.
Einheitliche Audio-Video-Generierung
daVinci-MagiHuman nimmt ein Gesichtsfoto plus Text oder Audio und erzeugt ein lippensynchronisiertes Sprechvideo mit passendem Ton. Der daVinci-MagiHuman-Single-Stream-Transformer entrauscht Video- und Audio-Tokens gemeinsam statt getrennte Pipelines zu verketten.
Geschwindigkeit, Qualität und Baselines
Auf einer NVIDIA H100 kann daVinci-MagiHuman einen kurzen 256p-Clip in etwa zwei Sekunden Wandzeit für einen zwei Sekunden Clip erzeugen (abhängig von Einstellungen und Hardware). Studien zu daVinci-MagiHuman zeigen niedrige WER und hohe menschliche Präferenz gegenüber mehreren öffentlichen Baselines.
Fähigkeiten
Hauptmerkmale
Sechs Gründe, warum Teams daVinci-MagiHuman für einheitliche Audio-Video-Avatare heranziehen — dieselben daVinci-MagiHuman-Stärken zählen, ob Sie das Modell über das davinci-magihuman-Stichwort oder die Papers finden.
Einheitliches Audio + Video
daVinci-MagiHuman erzeugt beide Modalitäten in einem Durchgang — ohne separates TTS und Video-Kleben.
Referenzfoto
daVinci-MagiHuman arbeitet mit einem einzigen Porträt als visueller Anker für den sprechenden Kopf.
Mehrsprachig
daVinci-MagiHuman unterstützt mehrere Sprachen für Lippensynchronisation (abhängig von Trainingsdaten und Release-Hinweisen).
Open Source
Apache 2.0 — daVinci-MagiHuman-Gewichte dürfen innerhalb der Lizenz frei genutzt und erweitert werden.
Schnelle Inferenz
daVinci-MagiHuman: etwa 2 s Wandzeit für ~2 s 256p auf einer H100-Klasse GPU (einstellungsabhängig).
Starke Qualität
daVinci-MagiHuman zeigt starke WER- und Präferenzwerte gegenüber Ovi 1.1 und LTX 2.3 in veröffentlichten Bewertungen.
Benchmarks
Wie daVinci-MagiHuman abschneidet
Illustrativer Benchmark; genaue Zahlen variieren nach Testset und Prompting. daVinci-MagiHuman meldet etwa 14,6 % WER gegenüber ~40,5 % bei Ovi 1.1 und gewinnt viele Paarvergleiche gegen Ovi und LTX 2.3.
WER und Sprachklarheit
Niedrigere WER bedeuten meist klarere Lippensprache für daVinci-MagiHuman. Die Tabelle vergleicht ähnliche Setups, wobei daVinci-MagiHuman die offene Baseline ist.
Menschliche Präferenz
Seitenvergleiche zeigen, welche Ausgaben in Natürlichkeit und Ausrichtung bevorzugt werden — auch dort, wo daVinci-MagiHuman gegen geschlossene Modelle gewinnt.
Lizenz und Latenz
Offene Apache-2.0-Gewichte ermöglichen Self-Hosting von daVinci-MagiHuman; proprietäre Stacks bleiben geschlossen. Die Wandzeit variiert je nach GPU und Auflösung für jeden daVinci-MagiHuman-Job.
| Modell | WER (↓) | Menschliche Präferenz | Lizenz | Geschwindigkeit (indikativ) |
|---|---|---|---|---|
| daVinci-MagiHuman Empfohlen | ~14,6 % | ~80 % vs. Ovi 1.1; stark vs. LTX 2.3 | Apache 2.0 | ~2 s für ~2 s bei 256p auf 1× H100 (berichtet) |
| Ovi 1.1 | ~40,5 % | Niedriger vs. daVinci in veröffentlichten Vergleichen | Proprietär | Je nach API / Deployment |
| LTX 2.3 | Höhere WER in derselben Tabelle (variiert) | Verliert meist vs. daVinci in Human-Evals | Proprietär | Je nach Auflösung und Stack |
Ablauf
So nutzen Sie daVinci-MagiHuman
1Eingabe
Klares Porträt hochladen
2
“Turn one portrait into a lip-synced talking video…”
Antrieb
Skript oder Audio hinzufügen
3
Ausgabe
Lippensynchronen Clip erhalten
1
Porträt und Skript vorbereiten
- Porträtfoto hochladen — klares Gesicht von vorne ist am besten.
- Skript eingeben oder Audiodatei hochladen — das Modell richtet Lippen an die Sprache aus.
2
Auflösung wählen und generieren
- Ausgabeauflösung wählen — z. B. 256p, 720p oder 1080p je nach Inferenz-Stack und VRAM.
- Sprechvideo erzeugen und herunterladen, wenn der Job fertig ist.
3
Self-Hosting und Hugging Face Hub
Für lokale oder Server-Läufe daVinci-MagiHuman-Checkpoints vom Hub ziehen und die README für CLI und Umgebung befolgen. Die davinci-magihuman-Landing-URL und das daVinci-MagiHuman-Repo werden mit Releases aktualisiert.
Beispiel (Python / Hugging Face)
# Load model weights from Hugging Face Hub (see official repo for exact APIs)
from huggingface_hub import snapshot_download
repo_id = "GAIR/daVinci-MagiHuman"
local_dir = snapshot_download(repo_id)
# Follow GAIR-NLP/daVinci-MagiHuman README for inference scripts and CLI flags.FAQ
Häufig gestellte Fragen
Zwölf häufige Fragen zu daVinci-MagiHuman. Zum Lesen aufklappen — hilfreich bei Suche nach davinci-magihuman oder dem vollen Modellnamen.
Was ist daVinci-MagiHuman?
daVinci-MagiHuman ist ein 15B-Parameter-Audio-Video-Modell von Sand.ai und GAIR Lab (SJTU), das Porträt plus Text oder Audio in einen lippensynchronisierten Clip mit gemeinsam trainiertem Ton und Bild verwandelt.
Ist daVinci-MagiHuman kostenlos?
Offene daVinci-MagiHuman-Gewichte und Code stehen unter Apache 2.0. Gehostete Demos können andere Bedingungen haben; Self-Hosting von daVinci-MagiHuman folgt der Lizenz.
Welche Eingaben braucht es?
daVinci-MagiHuman benötigt typischerweise ein Gesichtsbild plus Text oder Audio; Formate und Grenzen stehen in der offiziellen Inferenz-README.
Wie vergleicht es sich mit Sora oder Veo?
Das sind allgemeine Videosysteme. daVinci-MagiHuman zielt auf offene Talking-Head-Audio-Video-Generierung statt geschlossener Kino-Modelle.
Darf ich es kommerziell nutzen?
Apache 2.0 erlaubt kommerzielle Nutzung von daVinci-MagiHuman unter den Lizenzbedingungen. Prüfen Sie die Pflichten bei der Auslieferung von daVinci-MagiHuman-Outputs.
Wo kann ich daVinci-MagiHuman laden oder testen?
Nutzen Sie die Hugging-Face-Modellkarte und den Space auf dieser Seite oder klonen Sie das GitHub-Repository für daVinci-MagiHuman-Skripte und Checkpoints.
Welche Sprachen werden für Lippensync unterstützt?
daVinci-MagiHuman hängt vom Release und den Trainingsdaten ab; die aktuelle Sprachenliste steht in der README.
Welche GPU brauche ich?
daVinci-MagiHuman skaliert mit GPU-Klasse und Auflösung; Berichte nennen H100 für kurze Clips; schwächere GPUs können niedrigere Auflösungen oder Destillate nutzen.
Wie erziele ich die besten Porträts?
Mit daVinci-MagiHuman: klares Frontfoto, gleichmäßiges Licht, neutrale oder ausdrucksstarke Mimik. Vermeiden Sie starke Verdeckung, extreme Winkel oder sehr niedrige Auflösung.
Kann ich eigenes Audio statt Text nutzen?
Ja, wenn der daVinci-MagiHuman-Inferenzpfad Audio-Konditionierung unterstützt; siehe Dokumentation zu Formaten und Längen.
Wie ist die Lizenzierung der Outputs?
daVinci-MagiHuman-Gewichte sind Apache 2.0; generierte Inhalte unterliegen weiterhin Ihrem Anwendungsfall, Rechten an Eingaben und Gesetzen. Bei sensiblen Fällen Rechtsberatung einholen.
Wo melde ich Bugs oder Feature-Wünsche?
GitHub-Issues im Repository GAIR-NLP/daVinci-MagiHuman mit Logs, Hardware und Reproduktionsschritten.
Sprechvideos mit KI erstellen
Öffentlichen Space testen, daVinci-MagiHuman-Gewichte von Hugging Face laden oder das Open-Source-daVinci-MagiHuman-Repo auf GitHub klonen. Alle Wege führen zum gleichen davinci-magihuman-/daVinci-MagiHuman-Workflow.
Browser-Space
Gehostete daVinci-MagiHuman-Demo für einen schnellen Test ohne Installation.
Gewichte auf Hugging Face
daVinci-MagiHuman-Checkpoints laden und die Modellkarte zu Formaten, Varianten und Lizenz lesen.
Quellcode auf GitHub
daVinci-MagiHuman-Inferenzskripte klonen, Issues melden und Releases verfolgen.