Bár kétdimenziós képek alapján sokszor egészen jól meg lehet határozni, hogy milyen tárgyak vesznek körül egy robotot, azért a módszernek vannak korlátai. Mesterséges kockavilágban már a hatvanas években is működött a dolog, de valós környezetben a takarások, fák, változó…