Kulturtechno

Two pix2pix GANs, one that generates face markers from faces, the other that generates faces from face markers are set up in a feedback loop and generate an infinite stream of uncanny faces.
This is a little test that shows the limits of my trained face generation model. Left is the original trailer, on the right is the result of a combination of two pix2pix models, the first tries to find face markers, the second one tries to generate faces from the found markers. As you can see there is no threshold – the model will try to find and generate faces even if there are none in the source.

Wäre zu überlegen, wie man das >künstlerischer< und in Musik bringen kann, also wie diese Gegenüberstellung im anderen Medium ginge, und die Technik sowieso. (via Nerdcore)

Multimedia impliziert immer die Frage der Synchronizität von Bild und Ton. Kunst wie Hackertum greift da natürlich in den Konnex ein. In meinem Vokalessay „Lippenstift“ ist das Thema.
Wissenschaftler der University of Washington haben ein Verfahren vorgestellt, mit dem die Lippenbewegungen eines Videos an einen alternativen Text angepasst werden können. So lassen sich Wörter in den Mund legen, die an anderer Stelle geäußert wurden.

In einem Video demonstrieren die Forscher das Resultat: Barack Obama spricht in ein und derselben Videoaufnahme mal über die Krankenversicherung, mal über Terroranschläge, mal über seine Einstellung zur US-amerikanischen Vielfalt. Die Lippenbewegungen passen sich dem Gesagten so an, dass das Resultat zumindest auf den ersten Blick glaubhaft erscheint. Ganz lebensecht sind die Fake-Speech-Videos zwar noch nicht, bei flüchtigem Hingucken aber trotzdem überzeugend.

https://www.heise.de/newsticker/meldung/Fake-Speech-KI-hilft-beim-Aendern-von-Lippenbewegungen-3770821.html?wt_mc=rss.ho.beitrag.atom