Model koji povezuje sliku, jezik i pokret danas robotu omogućuje da razumije nalog i posegne za predmetom. Posao staje ondje gdje počinju prsti: uguravanje USB kabela, okretanje ključa, hvatanje nečega mekanog.
Razlog je manjak podataka. Snimaka i teksta ima u milijardama primjera, a mjerenja dodira u stotinama sati.
Koliko toga uopće postoji
Skupina Trevora Darrella na Berkeleyju složila je skup T-Rex sa stotinu sati pažljivo snimljenog dodira. Chengbo Yuan sa Sveučilišta Tsinghua skupio je preko 3000 sati s 21 vrste senzora.
NeoteAI i Sveučilište Fudan objavili su preko 30.000 sati usklađene slike i dodira. Ni to nije blizu onome čime raspolažu modeli za jezik.
Zašto se podaci teško dijele
Svaka robotska šaka ima drukčije senzore, a oni mjere različitu fiziku: negdje tlak, negdje vibraciju, negdje deformaciju gume. Snimka s jednog senzora drugome ne znači ništa.
Zbog toga se skupovi ne zbrajaju kao slike s interneta nego ostaju vezani uz opremu na kojoj su nastali.
Koliko dodir zapravo donosi
Model T-Rex rješava složene zadatke u 65 posto pokušaja, gotovo dvostruko bolje od polazne izvedbe. Model sa Sveučilišta Južne Kalifornije, koji dodir pogađa iz slike, uspijeva u 62,8 posto poslova s puno kontakta, naspram 28,2 posto bez te procjene.
U struci se raspravlja bi li 100.000 sati stvarnih mjerenja riješilo stvar ili tu treba drukčiji postupak učenja. Dok se to ne razriješi, roboti ostaju dobri u hvatanju, a loši u rukovanju.
