Эффект достигнут благодаря специальному программному обеспечению, которое может облегчить процедуру распознавания, к примеру, предметов одежды. Программа была продемонстрирована в действии на Международной конференции по робототехнике и автоматизации в Шанхае. В качестве испытуемого использовался коммерческий робот PR2, произведенный в Menlo Park в Калифорнии.

Для того, чтобы распознать тип одежды, робот держит ее при помощи захватов и оценивает размеры предмета, используя две наружные камеры. Затем робот записывает контуры одежды и ее отличительные особенности, например, пуговицы или воротник, после этого сравнивает предмет с имеющейся базой данных. Идентифицировав деталь гардероба с точностью около 90%, механический дворецкий аккуратно складывает ее в соответствии с инструкцией.

Тем временем другая группа инженеров из университета Корнелла запрограммировала роботов так, чтобы они могли найти ботинки, разбросанные по дому. По словам ученых, программное обеспечение позволяет загрузить данные о форме и других характеристиках обуви, а также может быть адаптировано для поиска любых других предметов. Один из секретов разработчиков ПО состоит в том, чтобы робот обращал особое внимание на площади возле мебели, например, осматривал журнальные столики, места под кроватью или рядом с кухонным шкафом. Команда также разработала программу, которая позволяет роботам взять предметы, не повреждая их.