MuseNet – это глубокая нейронная сеть, созданная OpenAI, которая может генерировать 4-минутные музыкальные композиции с 10 различными инструментами и сочетать стили от кантри до Моцарта и Битлз. В ней используется та же технология общего назначения без надзора, что и в GPT-2 – крупномасштабной трансформационной модели, обученной предсказывать следующую лексему в последовательности, будь то аудио или текст. Модель обучена на данных из MIDI-файлов и может генерировать образцы в выбранном стиле, начиная с подсказки. Она использует несколько вкраплений, таких как позиционные вкрапления, вкрапления времени и структурные вкрапления, чтобы придать модели больше контекста.