robossembler.org/docs/software/usecases.md

142 lines
9.1 KiB
Markdown
Raw Permalink Normal View History

2024-12-11 20:13:55 +00:00
---
title: Сценарии использования
---
Фреймворк может найти достаточно широкое распространение. Несмотря на то, что основной задачей фреймворка являлась автоматизация процесса разработки программ роботизированной сборки, программное обеспечение может применяться также и для других задач.
В частности,
- веб-сервис с модулями генерации датасетов и интерфейсом создания новых навыков может применяться для запуска любых других поддерживающих API навыков, не связанным напрямую с задачей сборки изделий;
- модуль исполнения программ ROS 2 включает в себя довольно гибкую систему управления исполнением с помощью деревьев поведения и может быть применён к любым задачам планирования, требующих модульности и реактивности;
- для студентов, исследователей и инженеров фреймворк может упростить разработку и отладку программного обеспечения за счёт использования функций высокого уровня абстракции при решении задач манипулирования.
Ниже рассмотрены сценарии использования, которые были разработаны командой Robossembler.
## Обучение с подкреплением - rbs_gym
Модуль **rbs_gym** предназначен для реализации среды обучения с подкреплением для роботов-манипуляторов. Он активно использует возможности открытой библиотеки Робосборщик, упрощая управление сценой и настройку среды.
Основные компоненты модуля обеспечивают:
- получение пространства наблюдения,
- передачу управляющих сигналов агенту,
- рандомизацию параметров среды,
- настройку задач, определяющих награды и условия для агента.
### Пространства наблюдения и действий
**Пространство наблюдения** включает:
- скорость на эффекторе робота,
- положения суставов робота,
- изображения с камеры (глубина, цвет или облака точек).
**Пространство действий** позволяет:
- отправлять управляющие сигналы в виде усилий или скоростей в пространстве задач робота,
- управлять положением захватного устройства,
- задавать усилия в конфигурационном пространстве робота.
### Гибкая настройка агентов
В составе модуля реализован класс **ExperimentManager**, который управляет предварительной настройкой агентов обучения. Конфигурации описываются в формате YAML. Пример гиперпараметров для алгоритма TD3 доступен [здесь](https://git.robossembler.org/nodes/seed.robossembler.org/rad:z46gtVRpXaXrGQM7Fxiqu7pLy7kip/tree/env_manager/rbs_gym/hyperparams/td3.yml).
Поддерживаются следующие алгоритмы обучения:
- [TD3](https://arxiv.org/abs/1802.09477)
- [SAC](https://arxiv.org/abs/1801.01290)
- [TQC](https://arxiv.org/abs/2005.04269)
### Общая структура и примеры
Общий вид среды обучения для задачи достиженая точки пространства представлен на изображении:
![rbs_gym_env_view](img/env.jpg)
_Общий вид среды для задачи "достижения точки" в **rbs_gym**_
На рисунке точка отмечена зеленым шаром. Каждую эпоху обучения выбираются разные позиции для робота в конфигурационном пространстве, а также позиция объекта выбирается случайным образом.
Диаграмма классов на примере задачи Reach детализирует архитектуру модуля:
![rbs_gym_class_diagram](img/rbs_gym_class_diagram.png)
*Диаграмма классов для задачи Reach*
Агент использует усилия в пространстве задач для достижения до точки.
**Управляющие сигналы**:
$$
\bm{W} = \begin{bmatrix} f_x & f_y & f_z & 0 & 0 & 0 \end{bmatrix}^T
$$
где $f$ — компоненты силы.
**Пространство наблюдения**:
$$
\bm{O} = \begin{bmatrix} \bm{p}_e & \bm{p}_o & \bm{v}_e \end{bmatrix}^T
$$
где:
- $\bm{p}_e = [x, y, z]^T$ — положение эффектора робота,
- $\bm{p}_o = [x, y, z]^T$ — положение цели,
- $\bm{v}_e$ — пространственный вектор скорости эффектора.
**Функция наград**:
1. **За уменьшение дистанции до цели**:
$$
R_d = \sum_{t=0}^{T-1} \Delta D_t \cdot 10
$$
где $T$ — число шагов, $D_t$ — расстояние до цели, $\Delta D_t = D_{t} - D_{t-1}$.
2. **За коллизии**:
$$
R_c = \sum_{t=0}^{T-1} \begin{cases}
-10, & \text{если } q_t \in C_o, \\
0, & \text{иначе}
\end{cases}
$$
где $C_o$ — пространство коллизий.
3. **Штраф за медленное выполнение задачи**:
$$
R_q = \sum_{t=0}^{T-1} -0.01
$$
4. **Бонус за достижение цели**:
$$
R_s = \begin{cases}
100, & \text{если } D_t < 0.05, \\
0, & \text{иначе.}
\end{cases}
$$
**Результирующая награда**:
$$
R = R_c + R_d + R_q + R_s
$$
Агент считается обученным, если $R = 100 \pm 10$ за эпизод.
### Тестирование и результаты
На графике представлены результаты обучения:
![train_metrics](img/train_metrics-1.jpg)
*Графики обучения. Допустимая область (100 ± 10) показывает диапазон, при котором агент считается обученным.*
### Самостоятельный запуск обучения
Для самостоятельно запуска этого примера следуйте [инструкции](https://gitlab.com/solid-sinusoid/env_manager/-/blob/main/docs/getting_started/getting_started.ru.md).
## Имитационное обучение с помощью деревьев поведения
Описанный выше модуль `rbs_gym` также можно использовать для более специфических сценариев применения - в частности, для имитационного обучения, где обучение с подкреплением дополняется демонстрациями, полученными в симуляторе или с помощью устройств телеуправления роботом. Ниже приведена диаграмма ориентировочной реализации такого сценария, на которой отражены основные модули системы и их взаимосвязи.
![robossembler imitation learning](img/rbs_imitation_learning_usecase.jpg)
На диаграмме показано каким образом программные модули фреймворка `bt_executor`, `scene_builder`, `rbs_runtime`, `env_manager` интегрируются со сторонними библиотеками - в частности, с библиотекой [lerobot](https://github.com/huggingface/lerobot), из которой используются модули для формирования `Policy`, обучения и конвертации датасета. На диаграмме также выделены примитивы дерева поведения, среди которых можно отметить RecordEpisode, осуществляющий запись демонстраций в runtime в цикле.