Projekt HCI&AI usmjeren je na razvoj naprednih metoda strojnog učenja za ljudsko-računalnu interakciju (HCI) koje povezuju tehnologije proširene i virtualne stvarnosti (XR), velike jezične modele (LLM), evaluaciju korisničkog iskustva i generativne modele.
Projekt istražuje i razvija nove metode i softverska rješenja u četiri područja:
- interaktivne AR simulacije za uvježbavanje i korisničku podršku
- veliki jezični modeli prilagođeni za interaktivnu asistenciju i razumijevanje specijaliziranih tekstova
- mehanizmi povratnih informacija korisnika i objektivna evaluacija učinkovitosti HCI sustava
- generiranje sintetičkih podataka i sadržaja primjenom naprednih generativnih modela
Integracijom ovih područja projekt omogućuje razvoj novih oblika obrazovanja, inteligentnih asistivnih sustava i domenski specifičnog sadržaja, s primjenama u različitim interdisciplinarnim domenama. Očekuje se da će rezultati projekta doprinijeti znanstvenoj izvrsnosti istraživačke skupine i široj zajednici kroz znanstvene publikacije, alate otvorenog koda, repozitorije podataka te razvoj interdisciplinarnih suradnji. Razvijene tehnologije i prikupljeni podaci imat će međunarodnu relevantnost te će projekt HCI&AI potaknuti daljnji napredak u HCI-ju i umjetnoj inteligenciji.
Radni paketi
RP1: Proširena stvarnost (AR) za interaktivne simulacije
Cilj RP1 je razvoj AR sustava koji omogućuje uvježbavanje složenih zadataka uz virtualne smjernice, personaliziranu povratnu informaciju i praćenje korisnika u stvarnom vremenu. Sustav će biti domenski prilagodljiv i moći će automatski mijenjati edukacijski sadržaj prema razini stručnosti korisnika. Za razliku od postojećih rješenja koja se oslanjaju na fiksne scenarije, predloženi sustav omogućit će dinamičnu prilagodbu i automatiziranu analizu izvedbe.
Aktivnost 1.1: Istraživanje state-of-the-art područja i dizajn AR scenarija
Aktivnost obuhvaća pregled postojećih AR metoda, odabir prikladnih scenarija te definiranje edukacijskih ciljeva u suradnji s domenskim stručnjacima. Fokus je na identifikaciji domena u kojima AR daje najveću dodanu vrijednost, poput medicinskog uvježbavanja.
Aktivnost 1.2: Razvoj AR programske podrške
Implementira se prototip AR aplikacije koja precizno projicira i registrira 3D objekte u stvarnom prostoru. Razvijaju se ili integriraju relevantni 3D modeli, a sustav omogućuje interakciju gestama i praćenje korisničkih pokreta.
Aktivnost 1.3: Testiranje i iterativno unaprjeđenje sustava
Prototip se testira s manjom skupinom stručnjaka, evaluira se korisničko iskustvo te optimizira sučelje, prikaz i tehnička stabilnost. Po potrebi se dodaju haptički i auditivni mehanizmi.
RP2: Veliki jezični modeli (LLM) za interaktivno znanje i podršku
Cilj RP2 je istražiti kako veliki jezični modeli mogu unaprijediti interaktivne sustave znanja, posebno za jezike s ograničenim resursima poput hrvatskog, te kako modele učinkovito prilagoditi specijaliziranim domenama uz minimalne domensko-specifične podatke. Poseban naglasak stavlja se na lokalno izvođenje modela u osjetljivim domenama i integraciju s ostalim komponentama HCI&AI ekosustava.
Aktivnost 2.1: Istraživanje prilagodljivosti jezičnih modela kroz domene i jezike
Analizira se prijenos znanja i mogućnosti prilagodbe modela specijaliziranim vokabularima. Razvijaju se metodologije prompt engineeringa i evaluacijski okviri, s naglaskom na hrvatski jezik i usporedbe s drugim jezicima.
Aktivnost 2.2: Istraživanje prilagodbe LLM-ova za pokretanje na lokalnoj infrastrukturi za domene s osjetljivim podacima
Istražuju se tehnike kvantizacije, kompresije i optimizacije koje omogućuju lokalno izvođenje modela. Provodi se evaluacija performansi i izrada benchmark platforme, uz aktivno sudjelovanje studenata.
Aktivnost 2.3: Integracija LLM komponenti u HCI&AI ekosustav
Istražuju se mogućnosti integracije glasovnog sučelja u AR simulacije te multimodalne sposobnosti LLM-ova za razumijevanje vizualnih podataka. Definiraju se tehnički zahtjevi i specifikacije integracije.
RP3: Implementacija haptičke interakcije u proširenim i virtualnim edukacijskim scenarijima
Cilj RP3 je razviti i integrirati haptički sustav u XR okruženja kako bi se omogućilo realistično, sinkronizirano i pedagoški učinkovito taktilno iskustvo. Fokus je na komunikaciji između XR aplikacije i haptičkih uređaja, integraciji u edukacijske scenarije i optimizaciji performansi.
Aktivnost 3.1: Razvoj sustava za dvosmjernu komunikaciju između XR aplikacije i haptičkog uređaja
Razvija se softverski sustav za stabilnu razmjenu podataka u stvarnom vremenu između XR aplikacije i haptičkog uređaja, uz korištenje postojećih SDK-ova i prilagođenih rješenja. Testira se preciznost i pouzdanost komunikacije.
Aktivnost 3.2: Integracija haptičkog odgovora u prve edukacijske XR scenarije
Haptički odgovori ugrađuju se u odabrane XR scene (pritisak, tekstura, tvrdoća) te usklađuju s vizualnim i auditivnim sadržajem, čime se provodi početna validacija sustava u edukacijskom kontekstu.
Aktivnost 3.3: Optimizacija performansi haptičkog sustava u XR okruženju
Evaluiraju se latencija, stabilnost i udobnost korištenja te optimiziraju softverski i hardverski parametri kako bi se postigla veća preciznost i pouzdanost.
Aktivnost 3.4: Priprema dokumentacije i smjernica za implementaciju haptičkih modula u buduće XR edukacijske sadržaje
Priprema se tehnička dokumentacija, smjernice za integraciju i pedagoške preporuke, uključujući komparativnu analizu edukacije s i bez haptičke povratne informacije.
RP4: Generativni modeli za sintetičke vizualne podatke i sadržaje
Cilj RP4 je istražiti generativne modele za stvaranje sintetičkih vizualnih podataka koji poboljšavaju treniranje modela strojnog učenja, posebno u izazovnim i medicinskim kontekstima. Fokus je na razvoju ciljanih sintetičkih baza i procjeni njihove primjenjivosti.
Aktivnost 4.1: Preliminarno istraživanje područja i odabir generativnih modela za implementaciju
Analiziraju se suvremeni generativni modeli (tekst-slika, slika-slika), implementiraju se odabrani pristupi i procjenjuje njihova primjenjivost na generičkim skupovima podataka.
Aktivnost 4.2: Razvoj i evaluacija ciljanih sintetičkih skupova podataka
Generiraju se sintetičke slike za otežane uvjete detekcije, varijacije osvjetljenja, okluzije i artefakte. Po potrebi se provodi fine-tuning, a studenti sudjeluju u pripremi i anotaciji podataka.
Aktivnost 4.3: Istraživanje primjene i transfer tehnika generiranja sintetičkih podataka u medicinskom kontekstu
Istražuje se generiranje sintetičkih medicinskih slika (RTG, CT/MRI, dermatoskopija) radi rješavanja nedostatka podataka i neuravnoteženosti klasa. Razvijaju se metode za generiranje dermatoskopskih i volumetričkih medicinskih slika.
Istraživački tim
- prof. dr. sc. Irena Galić
- prof. dr. sc. Krešimir Nenadić
- prof. dr. sc. Časlav Livada
- doc. dr. sc. Hrvoje Leventić
- doc. dr. sc. Dragana Božić Lenard
- doc. dr. sc. Krešimir Romić
- doc. dr. sc. Ivana Hartmann Tolić
- dr. sc. Marija Habijan
- dr. sc. Marin Benčević
- Robert Šojo, mag. ing. comp.
- Juraj Perić, mag. ing. comp.
Projekt financira Europska unija – NextGenerationEU. Izneseni stavovi i mišljenja samo su autorova i ne odražavaju nužno službena stajališta Europske unije ili Europske komisije. Ni Europska unija ni Europska komisija ne mogu se smatrati odgovornima za njih.
