robossembler/robossembler.org
7
0
Fork 0
Code Issues 5 Pull requests Projects Releases Packages Wiki Activity Actions

обзор OpenDR

Browse source
This commit is contained in:
shalenikol 2023-01-18 09:03:23 +00:00 • committed by Igor Brylyov
parent fc37d220f1
commit e4f5a1392e
1 changed files with 25 additions and 0 deletions
Download patch file Download diff file Expand all files Collapse all files

25
docs/technologies/machine-learning-in-robotics.md
View file

@ -222,6 +222,31 @@ GIGA - Нейронная сеть, которая обнаруживает по
* gym_ignition_environments: Демонстрационные среды с образцовой структурой, созданные с помощью gym_ignition и gym-ignition-models.
### OpenDR
[Github](https://github.com/opendr-eu/opendr) | [Справочное руководство](https://github.com/opendr-eu/opendr/blob/master/docs/reference/index.md)
Целью проекта OpenDR является разработка модульного, открытого и непатентованного набора инструментов для основных функций роботов путем использования глубокого обучения для обеспечения расширенных возможностей восприятия и познания, таким образом отвечая общим требованиям приложений робототехники в прикладных областях здравоохранения, агропромышленного и гибкого производства. OpenDR предоставляет средства для связи приложений робототехники с программными библиотеками (средами глубокого обучения, например, PyTorch и Tensorflow) с операционной средой ( ROS ). OpenDR фокусируется на основных технологиях AI и Cognition для предоставления инструментов, которые делают роботизированные системы когнитивными, давая им возможность:
* взаимодействовать с людьми и окружающей средой, разрабатывая методы глубокого обучения для активного восприятия и познания, ориентированного на человека и окружающую среду,
* учиться и классифицировать, разрабатывая инструменты глубокого обучения для обучения и вывода в обычных условиях робототехники, а также
* принимать решения и получать знания, разрабатывая инструменты глубокого обучения для действий когнитивных роботов и принятия решений.
Проект реализует следующие основные категории задач для робототехники:
1. Инструменты распознавания человека и его деятельности, такие как распознавание лиц, жестов и эмоций человека, распознавание речи, обнаружение сердечных аномалий, оценки положения.
2. Инструменты обнаружения и сопровождения объектов в 2D и 3D, а также семантической и паноптической сегментации.
3. Инструменты обучения роботов навыкам движения и захвата.
4. Инструменты симуляции, такие как визуализация модели человека и фотореалистичный генератор многоракурсных изображений лица.
Также для взаимодействия с ROS разработан пакет opendr_bridge, который предоставляет интерфейс для преобразования типов данных и целей OpenDR в совместимые с ROS типы. Класс ROSBridge, реализующий данный интерфейс, предоставляет два метода для каждого типа данных X:
1. from_ros_X() : преобразует ROS-эквивалент X в тип данных OpenDR.
2. to_ros_X() : преобразует тип данных OpenDR в ROS-эквивалент X.
Большая часть пакетов представляет собой модули на Python'е, которые можно использовать раздельно по мере необходимости.
### MoPA-RL
[Website](https://clvrai.github.io/mopa-rl/) | [Github](https://github.com/clvrai/mopa-rl) | [Paper](https://arxiv.org/pdf/2010.11940.pdf) | [Video](https://www.youtube.com/watch?v=AEiNyY257fs)