szerző:
hvg.hu
Tetszett a cikk?

Helyben, offline futtathatnak egy chatbotot a számítógépükön az Nvidia új mesterségesintelligencia-eszközének használói. Ütős videokártya és 50–100 GB hely kell hozzá.

A Chat with RTX nevű megoldás segítségével a felhasználók konfigurálnak egy saját nyelvi modellt, hasonlóan ahhoz, ami a ChatGPT-t is kiszolgálja – csak kisebb léptékben. Lényegesen. Az adatbázis, ami a modell mögött áll, az maga a számítógép, pontosabban, ami azon található: dokumentumok, fájlok, jegyzetek – ami ezekben szerepel, azokról tud a mesterséges intelligencia (MI).

Az Nvidia egy példát is hoz arra, hogy milyen esetekben lehet hasznos a házi chatbot. Ha valaki épp arra kíváncsi, hogy mi volt az az étterem, amit a párja ajánlott Las Vegasban, akkor elég ezt egy kérdés formájában feltennie. A Chat with RTX átfésüli a helyi fájlokat az információk után, majd megadja a választ. Nem kell tehát egyesével átfutni mindent fájlt a válasz után kutatva, kézzel.

Mint a TechCrunch megjegyzi, az Nvidia megoldása alapértelmezés szerint a Mistral nevű MI-startup nyílt forráskódú modelljét futtatja, de támogat más, szöveges nyelvi modelleket is.

A dolognak azonban ára van; a választott nyelvi modelltől függően 50–100 GB tárhelyet emészt fel az összes szükséges fájl a mesterséges intelligencia futtatásához.

A Chat with RTX jelenleg a PDF, .doc és .docx, valamint .xml fájlokat tudja kezelni, az ezeket tartalmazó mappákat pedig a felhasználó hívhatja meg, hogy az MI azokból tanuljon. Érdekes extra funkció, de egy YouTube lejátszási lista linkjének megadásával a modellt tovább lehet tanítani az ebben lévő videók átiratásával is.

Az eszköz jelenlegi állapotában inkább egy érdekesség, megvannak ugyanis a maga korlátai – például a kontextusra sem tud emlékezni, a beszélgetés előző kérdéseit egyszerűen elfelejti. Az MI-t ide kattintva tölthetik le és telepíthetik a megfelelő Nvidia-kártyák birtokosai.

Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.