Meta je objavila treću generaciju svog Segment Anything Model (SAM) sistema, koji donosi napredne mogućnosti segmentacije u slikama i video sadržaju. Nova SAM 3 serija uvodi funkciju segmentacije pomoću tekstualnih komandi, kao i generisanje 3D skenova objekata i ljudi. Kao i prethodne verzije, modeli ostaju otvorenog koda i mogu se preuzeti te koristiti lokalno.

 

Tri nova modela za segmentaciju i 3D rekonstrukciju

 

U dva odvojena blog teksta, kompanija je najavila tri posebna modela:

  • SAM 3 – segmentacija i praćenje objekata u slikama i videu.
  • SAM 3D Objects – prepoznavanje objekata i kreiranje njihovih 3D skenova.
  • SAM 3D Bodies – generisanje 3D modela ljudskih tijela.

SAM 3 značajno unapređuje prethodne verzije (SAM 1 i SAM 2) dodavanjem segmentacije na osnovu prirodnog jezika. Umjesto ručnog označavanja klikovima, sada je moguće unijeti opis poput „crvena bejzbol kapa“ ili „žuti školski autobus“, a model automatski pronalazi i segmentira sve odgovarajuće objekte u sceni. Ovaj pristup koristi jedinstvenu arhitekturu s kombinovanim enkoderom percepcije, detektorom i trakerom.

 

3D skenovi iz jedne fotografije

 

SAM 3D modeli omogućavaju generisanje trodimenzionalnih struktura iz samo jedne 2D fotografije. Sistem koristi napredni trening i potpuno novi 3D data engine kako bi kreirao realistične teksture i geometriju, čak i kada su objekti djelimično zaklonjeni ili se nalaze u složenoj sceni.

Svi modeli mogu se preuzeti preko Meta GitHub i Hugging Face naloga i dostupni su pod SAM licencom, koja dozvoljava i istraživačku i komercijalnu upotrebu.

 

Online alat i integracija u Meta aplikacije

 

Meta je pokrenula Segment Anything Playground, online platformu na kojoj korisnici mogu testirati ove modele bez instalacije ili pokretanja na lokalnom računaru. Alat je besplatan i dostupan svim korisnicima.

Pored toga, SAM 3 dolazi u Meta aplikacije:

  • Instagram Edits uskoro dobija nove efekte koji se primjenjuju direktno na određene objekte ili osobe u videu.
  • Vibes u Meta AI aplikaciji dobit će iste mogućnosti kreativne segmentacije.
  • Facebook Marketplace već koristi SAM 3D za opciju View in Room, koja omogućava pregled namještaja i dekoracije u sopstvenom prostoru prije kupovine.