Metin AI MusicGen može da generiše kratke nove muzičke komade na osnovu tekstualnih upita, koji opciono mogu da se usklade sa postojećom melodijom
Kao i većina današnjih jezičkih modela, AI MusicGen je baziran na modelu Transformer. Baš kao što jezički model predviđa sljedeće znakove u rečenici, MusicGen predviđa sljedeći odjeljak u muzičkom djelu.
Istraživači razlažu audio podatke na manje komponente koristeći Meta EnCodec audio tokenizer. Kao jednostepeni model koji paralelno obrađuje tokene, MusicGen je brz i efikasan.
AI MusicGen je u stvari jednostavan sistem za kreiranje kratkih muzičkih klipova, koji se pridružio se seriji alata pokretanih generativnim sistemima vještačke inteligencije. Kao i neki do sada viđeni alati – na primjer Photoshop-ov Generative Fill, zapanjujući generativnim AI alat za super kreacije, i ovaj se koristi unošenjem tekstualnog zadatka napisanog na prirodnom jeziku.
Prompt može da glasi, na primjer: „lagana i vesela EDM numera sa sinkopiranim bubnjevima, prozračnim padovima i jakim emocijama, tempo: 130 BPM“ s melodijom svjetski poznate Bachove „Tokate i fuge u d-molu (BWV 565) „, može se generisati muzičko djelo.
Njegova uloga je da „usmjerava“ muzički generator u melodijskom smislu. Nakon toga, ovaj alat će početi da radi i izvuče melodiju iz teksta i eventualno muzike i komponuje novu pjesmu od 12 sekundi. Demo je dostupan besplatno na ovom linku. Međutim, morate biti strpljivi nekoliko minuta da se pjesme generišu, u zavisnosti od trenutnog opterećenja servera.
AI MusicGen je open source
Meta je MusicGen alat razvila prema principima open source-a (otvorenog koda), tako da je cijeli kod i model dostupan na GitHub-u. Kompanija kaže da su za obuku koristili oko 20.000 sati licencirane muzike. Tu se nalaze visokokvalitetni muzički snimci i drugi podaci sa naplatnih repozitorija. To znači da MusicGen ne treba da krši ničija autorska prava u svom radu, tj. „kradu” melodije od muzičara bez njihove dozvole.
Što se tiče rezultata, za sada ne treba da očekujemo ništa spektakularno. Međutim, za kombinovanje sa drugim audio materijalima ili za ručno rađeno kreiranje neke vrste muzičke podloge, nekome može biti korisno.
(IT mixer)
