Napredna 3D percepcija za mobilne robotske manipulatore

Osnovni podaci o projektu

Naziv:  Napredna 3D percepcija za mobilne robotske manipulatore

Nositelj: Sveučilište J. J. Strossmayera u Osijeku, Elektrotehnički fakultet Osijek

Financiranje: Projekt financira Hrvatska zaklada za znanost pod brojem IP-2014-09-3155

Ukupna vrijednost: 948.731,00 kn

Trajanje: 4 godine

Voditelj: izv. prof. dr. sc. Robert Cupec

Projektni tim:  

doc. dr. sc. Emmanuel Karlo Nyarko
doc. dr. sc. Damir Filko
doc. dr. sc. Ratko Grbić
mag. ing. Ivan Vidović
doc. dr. sc. Tomislav Keser
dr. sc. Tomislav Matić
doc. dr. sc. Ivan Aleksi
doc. dr. sc. Ivica Lukić
dipl. ing. Marina Peko

Cilj projekta

Razviti nove odnosno unaprijediti postojeće metode robotskog vida zasnonvanog na 3D senzorima za primjenu u zadacima mobilne robotske manipulacije.

Motivacija

Već nekoliko decenija roboti se uspješno primjenjuju u industriji. Njihova brzina i visoka točnost pozicioniranja čini ih najboljim rješenjem za mnoge tehničke probleme u različitim industrijskim proizvodnim procesima. Roboti su danas neizbježni alati u gotovo svim industrijskim granama s praktično neograničenim potencijalom za buduće industrijske primjene. Unatoč tome, većina suvremenih industrijskih robota zapravo ne predstavljaju ništa drugo već alate za precizno pozicioniranje koji izvode konačan broj precizno definiranih trajektorija i mogu raditi samo u visoko strukturiranim radnim okolinama. Još uvijek ih je teško koristiti, učiti i programirati. Ključ za fleksibilniju, prilagodljiviju i za upotrebu jednostavniju proizvodnju uz primjenu robota je na percepciji zasnovana umjetna inteligencija. Industrijski robot budućnosti trebao bi biti u stanju percipirati i interagirati sa svijetom prilagođenim čovjeku, imati visoki stupanj samostalnosti u nestrukturiranim i dinamičnim okolinama te, konačno, praktički svatko bi trebalo biti u stanju jednostavno ga učiti i njime upravljati, a ne samo obučeni tehnički stručnjaci. Nadalje, u proizvodnim procesima sljedeće generacije, od posebnog će interesa biti mobilni roboti, s obzirom na njihovu mobilnost koja proširuje radni prostor robota na čitav proizvodni pogon. Da bi se ta sposobnost iskoristila u punoj mjeri, što znači da bi bio sposoban obavljati zadatke koji uključuju kretanje od jednog mjesta do drugog, robot mora biti u stanju odrediti svoj položaj u nekoj radnoj okolini.

Istraživačka pozadina  projekta

S obzirom da je percepcija okoline ključna za postizane visokog stupnja samostalnosti mobilnog robota, za percepciju okoline se danas primjenjuju različiti sustavi računalnog vida. Mada se danas u industrijskoj proizvodnji primarno koriste 2D sustavi računalnog vida, 3D informacija svakako može biti iznimno korisna za analizu scene. 3D senzori kao što su laserski davači udaljenosti, stereo vizija, time-of-flight kamere te senzori zasnovani na strukturiranoj svjetlosti daju snimke promatrane scene u obliku skupova 3D točaka koji predstavljaju površine objekata vidljive iz danog položaja. Takvi skupovi 3D točaka, nazvani oblaci točaka, daju informaciju o obliku geometrijskih struktura koje se pojavljuju na sceni. Kombiniranjem 3D senzora sa 'običnom' RGB kamerom dobiva se RGB-D kamera koja daje obojeni oblak točaka, koji se još naziva RGB-D slika. Nedavno su se na tržištu pojavile RGB-D kamere vrlo niske cijene, što je pokrenulo pravu lavinu istraživanja na području obrade 3D oblaka točaka. Kao rezultat tog intenzivnog istraživanja, razvijen je velik broj vrlo učinkovitih alata koji omogućuju trodimenzionalnu rekonstrukciju objekata i scena iz dubinskih slika snimljenih 3D kamerom u stvarnom vremenu. Istovremeno, istraživanje na području robotske lokalizacije i prepoznavanja objekata danas je dostiglo prilično zrelu razinu. Suvremeni sustavi prepoznavanja objekata odlikuju se iznimno visokom preciznošću i osjetljivošću. Međutim, postoji još izazova na koje se želi odgovoriti ovim projektom. Mada je prepoznavanje objekata točno definiranog oblika danas prilično dobro riješen problem, još uvijek je otvoren problem klasifikacije objekata, tj. sposobnost svrstavanja nepoznatih objekata u određene klase na temelju sličnosti s različitim objektima iste klase pohranjenim u memoriju robota. Nadalje, današnji algoritmi prepoznavanja objekata koji postižu iznimno visoku preciznosti i osjetljivosti zahtijevaju relativno dugačko vrijeme izvođenja.

Opis projekta

Predloženo istraživanje obuhvaća primjenu 3D percepcijskih senzora za izvođenje prototipnih zadataka koji uključuju manipulaciju objektima u kombinaciji sa samostalnim kretanjem u nestrukturiranoj okolini. Težište istraživanja je na robotskoj percepciji zasnovanoj na 3D oblacima točaka dobivenim 3D senzorima, dok su planiranje kretanja i hvatanja objekata uključeni samo radi evaluacije razvijenih rješenja s područja računalnog vida. Istraživanje će se provoditi u tri smjera, koji definiraju tri radna paketa projekta

  1. segmentacija oblaka točaka i 3D modeliranje;
  2. prepoznavanje objekata;
  3. lokalizacija mobilnog robota.

Radi olakšavanja komunikacije između čovjeka i robota, bit će razvijena metoda segmentacije oblaka točaka, koja će rezultirati modelom okoline u obliku zasebnih geometrijskih objekata, kao što ljudski sustav percepcije interpretira sliku. Istraživanje na području prepoznavanja objekata obuhvatit će više pristupa, od uobičajenog pristupa, zasnovanog na detekciji značajki, generiranju hipoteza sparivanjem značajki scene sa značajkama modela objekata te evaluacije hipoteza, do pristupa zasnovanih na strojnom učenju, umjetnim neuronskim mrežma, stablu odlučivanja i sl. Ova će istraživanja imati za cilj povećanje računske učinkovitosti odnosno postizanje visoke preciznosti i osjetljivosti (engl. precision and recall). Također će se proučavati metode klasifikacije objekata prema njihovom značenju u različitim zadacima mobilne manipulacije. Razvijene metode prepoznavanja objekata bit će primijenjene za prepoznavanje mjesta u okviru sustava za navigaciju mobilnog robota. Integracijom prepoznavanja mjesta sa sposobnošću korištenja informacije dobivene iz niza slika kao i aktivne vizije, koja će osigurati da kamera bude usmjerena tako da se maksimizira sadržaj informacije unutar vidnog polja, dobit će se sustav lokalizacije mobilnog robota visoke preciznosti i osjetljivosti. Sve metode interpretacije scene te prepoznavanja objekata i mijesta razvijene u okviru projekta ispitat će se pokusima sa stvarnim robotom u kojima će navedene metode biti primijenjene u rješavanju prototipnih zadataka mobilne robotske manipulacije.

Očekivani rezultati projekta

Kao rezultati istraživanja koja će se provoditi u okviru projekta očekuju se:

  1. razvoj novog algoritma za segmentaciju oblaka točaka na objekte od interesa za robotsku manipulaciju;
  2. sustav komunikacije između čovjeka i robota omogućit će korisniku zadavanje predmeta s kojima robot treba manipulirati te površina na koje robot treba postaviti predmete na jednostavan i intuitivan način;
  3. nove učinkovitije metode generiranja hipoteza;
  4. novi probabilistički pristup evaluaciji hipoteza;
  5. novi algoritam za prepoznavanje objekata varijabilnog oblika zasnovan na podudaranju grafova;
  6. sustav za lokalizaciju mobilnog robota zasnovan na metodama prepoznavanja objekata razvijenim u okviru projekta.

Krajnji rezultat projekta bit će sustav za upravljanje mobilnim robotskim manipulatorom koji će omogućiti jednostavno zadavanje zadataka robotu, prepoznavanje objekata i mjesta od interesa za pojedini zadatak, pozicioniranje robotskog manipulatora pomoću robotskog vida te navigaciju robota u nestrukturiranoj okolini u cilju izvršavanja zadataka mobilne manipulacije.