Nvidia je objavila novi AI chatbot koji radi lokalno na određenim računarima sa GeForce RTX
Nvidia kaže da novi AI chatbot omogućava korisnicima da brzo, lako povežu lokalne datoteke na računaru kao skup podataka sa LLM-ovima otvorenog koda kao što su Mistral i Llama 2.
Ovo zvuči kao veliki korak ka nečemu što liči na stvarnog digitalnog asistenta koji radi u kontekstualnom okviru vaših ličnih podataka.
Kod većine chatbotova, podaci se šalju u cloud, ali ćaskanje sa RTX-om omogućava korisnicima da obrađuju osjetljive podatke na lokalnom računaru bez potrebe da ih dele sa trećom stranom ili imaju internet vezu.
Demo aplikacija, nazvana Chat with RTX, besplatna je za preuzimanje i omogućava korisnicima da pokrenu AI chat bot na svojim računarima, personalizovan njihovim sadržajem.
Pokrenuta softverom Nvidia TensorRT-LLM, aplikacija može generisati sadržaj i može se obučiti na odabiru sadržaja korisnika, uključujući .txt, .pdf, .doc/.docx i .xml datoteke, pa čak i URL-ove za YouTube video zapise.
Nakon odabira sadržaja za obuku bota, korisnici mogu da mu postavljaju personalizovana pitanja o sadržaju koji su poslali.
Na primjer, AI chatbot može da sumira uputstva korak po korak u video snimku sa uputstvima na YouTube-u ili kaže korisniku koju vrstu baterija ima na svojoj listi za kupovinu.
Ograničenja AI chat bota
Ovo je demo proizvod tako da biste trebali očekivati dosta grešaka, mada bi NVIDIA trebalo da počne da ih uništava kada korisnici počnu da izdaju izvještaje o greškama i slično.
Ovde takođe postoje neka stroga hardverska ograničenja. Ćaskanje sa RTX-om radi samo na Windows računarima sa NVIDIA GeForce RTX 30 serije GPU-a ili novijim i najmanje 8GB VRAM-a.
NVIDIA je u posljednje vrijeme zaista pokazala svoju AI snagu, pošto je kompanija upravo lansirala svoju sljedeću generaciju superkompjuterskih čipova sa veštačkom inteligencijom.
(IT mixer)
