Piano Genie

Beim Spielen entscheidest du darüber, wann die Töne erklingen und wie die “Form” der Melodie aussieht: ob die Töne höher oder tiefer werden und um wieviel sie sich ungefähr verändern. Die KI von Piano Genie wählt dann die Tasten auf der Klaviatur aus und schon klingt es fast wie in einem professionellen Klavierkonzert.

Dabei greift das Piano Genie nicht auf Regeln oder musiktheoretisches Wissen zurück. Seine KI basiert auf einem neuronalen Netzwerk, das von 1400 Aufnahmen der International Piano e-Competition gelernt hat. Durch diese Beispiele hat es seine eigene Idee davon entwickelt, wie Klaviermusik klingt.

Wie es funktioniert

Neuronale Netze sind KI-Systeme, die sich das menschliche Gehirn zum Vorbild nehmen. Sie funktionieren in etwa so wie Neuronen, wenn sie auf einen bestimmten Input (z.B. Signale aus dem Nervensystem) mit einem bestimmten Output antworten (z.B. die Bewegung eines Muskels). Nach einer Lernphase schafft es das Netzwerk, “intelligent” zu antworten: es erhält zahlreiche Beispiele als Input; danach wird seine Leistung in Bezug auf jedes Beispiel überprüft und es erhält dadurch wichtiges Feedback, um sich mit der Zeit immer weiter zu verbessern.

Lange Zeit mussten Programmierer*innen von KI-Systemen noch bis ins Detail beschreiben und genau vorgeben, wie ein Problem mit dem Computer zu lösen ist. Neuronale Netze hingegen werden oft für die Lösung von Aufgaben verwendet, bei denen Entscheidungsprozesse nicht einfach beschrieben werden können, weil sie viel zu komplex sind. Heutzutage kommen Neuronale Netze in ganz verschiedenen Bereichen zum Einsatz: sie betreiben Bild- und Spracherkennung, treten uns in Spielen gegenüber, entwickeln Medikamente, steuern Fahrzeuge und kreieren sogar eigenständig Musik.

Zu Beginn entstand die KI von Piano Genie aus zwei einzelnen Neuronalen Netzen: einem Kodierer und einem Dekodierer. Der Kodierer erhält eine Melodie (eine Sequenz von Noten), also eine Reihe von Zahlen zwischen 1 bis 88 (die Tasten der Klaviatur). Aus diesem Input produziert er dann eine Sequenz mit der gleichen Länge, die allerdings nur die Zahlen 1 bis 8 verwendet. Der Dekodierer kehrt diesen Prozess um, indem er diese vereinfachte Zahlenreihe nimmt und sie als eine Melodie herausgibt, die wieder auf den 88 Tasten der Klaviatur spielbar sind. Kodierer und Dekodierer arbeiten zusammen - man kann sich den ganzen Vorgang wie einen Trichter vorstellen, durch den die Melodie geschickt wird.

Natürlich ist es nicht immer möglich, die ursprüngliche Melodie perfekt zu erhalten. Der Weg durch den Kodierer und Dekodierer wandelt eine Melodie meistens etwas ab. Bei einer vollen Klaviatur kann jede Note der Melodie auf jeder der 88 Tasten landen. Wenn aber nur 8 Symbole die Noten der Melodie kodieren, existieren nach jeder Note auch nur 8 Möglichkeiten, wie die Melodie weitergeht. Versuchen wir die Melodie nun wieder zu dekodieren, kommt etwas heraus, was ähnlich aber wahrscheinlich nicht genau gleich klingt.

Es gibt nicht nur einen Weg, die Noten mit 8 verschiedenen Werten zu kodieren, um sie dann wieder zu dekodieren. Auch die Autoren von Piano Genie wissen nicht, welches der beste Weg ist. Das ist hier eben die Aufgabe und im Allgemeinen auch die Stärke der KI: indem wir die Neuronalen Netze trainieren, finden sie das beste Verfahren für diese Umwandlung.

Beide Netzwerke - Kodierer und Dekodierer - von Piano Genie lernten zur selben Zeit von den erwähnten 1400 Klavieraufnahmen. Das Ziel des Lernprozesses lag darin, dass der Dekodierer einen Output produziert, der der Ursprungsmelodie möglichst nahekommt. Auch die 8-Noten-Sequenz des Kodierers sollte möglichst nah an die “Form” des Trainingsmaterials herankommen. Wenn also in der Ursprungsmelodie die Noten hoch und runter gehen, sollten auch die Zahlen in der kodierten Sequenz größer bzw. kleiner werden.

Sobald Kodierer und Dekodierer beide Aufgaben ausreichend gut erlernt hatten, nahmen die Autoren von Piano Genie nur den Dekodierer und verknüpften seinen Input mit den sichtbaren acht farbigen Eingabetasten der App. Wenn du jetzt auf dieser Piano Genie-Klaviatur spielst, erhält der Dekodierer eine Sequenz der gespielten Tasten und “dekodiert” ihn in eine Klaviermelodie. Man könnte also sagen: Das Dekodier-Netzwerk versucht eine Klavier-Improvisation zu rekonstruieren, die eigentlich nicht stattgefunden hat.

Weshalb es funktioniert

Wir würden nicht jede mögliche Kombination von Klaviertönen musikalisch nennen, so wie auch nicht jede beliebige Kombination von Buchstaben ein Satz ist. Musik hat Struktur: sie folgt Mustern, Tonleitern und Motiven. Was Kodierer und Dekodierer eigentlich tun, wenn sie “lernen”, ist Musik zu komprimieren. Sie stellen Musik mit einer geringeren Menge an Symbolen dar, indem sie in den Beispielen wiederkehrende Strukturen und Muster auffinden. Sie arbeiten mit den interessanten musikalischen Sequenzen und ignorieren die willkürlichen.

Wenn der Dekodierer mit den acht Eingabetasten von Piano Genie verbunden ist, produziert er Tonsequenzen mit Strukturen, die denen im Trainingsmaterial ähneln.

Weitere Experimente

Klick im Piano Genie auf “Einstellungen”. Du findest andere MIDI-Instrumente, die du als Input und Output auswählen kannst. Ebenfalls ist das Makey Makey-Kit dort zu finden, mit dem man das Klavier mit Hilfe von alltäglichen Gegenständen spielen kann.

Auf originelle Weise verwendet die Rockband “The Flaming Lips” Piano Genie in ihren Live-Shows: Sie erzeugen Klavierklänge, indem sie mit ihren Fingern verschiedene Früchte in einem Korb berühren.

Einige Punkte zum Nachdenken

• Schaffst du es, KI-generierte Musik von nicht KI-generierter Musik zu unterscheiden?
• Ist etwas Kunst, weil es uns bewegt, oder weil eine Künstlerin oder ein Künstler damit etwas ausdrückt?
• Die Musik von Piano Genie ähnelt den Musikaufnahmen, durch die seine Neuronalen Netze gelernt haben. Wenn eine KI noch gänzlich unerhörte Musik schaffen würde, würden wir sie dann als solche akzeptieren? Können womöglich nur Menschen die Grenzen der Kunst erweitern?

Links

Die offizielle Piano Genie-Seite bei Google Magenta
Die originale Publikation der Piano Genie-Autoren
Der Quellcode von Piano Genie

  Der Text ist unter der Lizenz Creative Commons Attribution License verfügbar.