Ovo istraživačko područje objedinjuje razvoj naprednih sustava u kojima umjetna inteligencija aktivno sudjeluje u interakciji s korisnikom, okolinom i digitalnim sadržajem. Fokus je na spajanju računalnog vida, obrade govora, generativnih modela i adaptivnih algoritama u jedinstvene, responzivne sustave sposobne za razumijevanje konteksta i donošenje odluka u stvarnom vremenu.
Istražuju se metode percepcije i interpretacije okoline (segmentacija, prepoznavanje objekata, emocija i namjera korisnika), kao i generiranje sadržaja prilagođenog situaciji — od vizualnih elemenata i govora do ponašanja virtualnih agenata. Poseban naglasak stavlja se na sustave koji uče iz interakcije, prilagođavaju se korisniku i poboljšavaju performanse kroz kontinuiranu povratnu informaciju.
Primjene uključuju inteligentne edukacijske sustave, adaptivne videoigre, asistivne tehnologije, proširenu i virtualnu stvarnost te multimodalne AI agente koji kombiniraju vid, jezik i akciju. Cilj je razvoj robusnih, skalabilnih i etički odgovornih sustava koji prirodno povezuju čovjeka i umjetnu inteligenciju u stvarnim i virtualnim okruženjima.
Korištene tehnologije:
- Multimodalna umjetna inteligencija (vid + govor + jezik)
- Računalni vid i segmentacija scena
- Prepoznavanje emocija i ponašanja korisnika
- Generativni modeli (slika, govor, tekst)
- Veliki jezični i vizualno-jezični modeli
- Interakcija čovjek–računalo (HCI)
- Adaptivni i samoučeći sustavi
- AI u igrama, XR-u i asistivnim tehnologijama
