---
title: Сценарии использования
---

Фреймворк может найти достаточно широкое распространение. Несмотря на то, что основной задачей фреймворка являлась автоматизация процесса разработки программ роботизированной сборки, программное обеспечение может применяться также и для других задач.

В частности,
- веб-сервис с модулями генерации датасетов и интерфейсом создания новых навыков может применяться для запуска любых других поддерживающих API навыков, не связанным напрямую с задачей сборки изделий;
- модуль исполнения программ ROS 2 включает в себя довольно гибкую систему управления исполнением с помощью деревьев поведения и может быть применён к любым задачам планирования, требующих модульности и реактивности;
- для студентов, исследователей и инженеров фреймворк может упростить разработку и отладку программного обеспечения за счёт использования функций высокого уровня абстракции при решении задач манипулирования.

Ниже рассмотрены сценарии использования, которые были разработаны командой Robossembler.

## Обучение с подкреплением - rbs_gym

Модуль **rbs_gym** предназначен для реализации среды обучения с подкреплением для роботов-манипуляторов. Он активно использует возможности открытой библиотеки Робосборщик, упрощая управление сценой и настройку среды.

Основные компоненты модуля обеспечивают:
- получение пространства наблюдения,  
- передачу управляющих сигналов агенту,  
- рандомизацию параметров среды,  
- настройку задач, определяющих награды и условия для агента.  

### Пространства наблюдения и действий

**Пространство наблюдения** включает:  
- скорость на эффекторе робота,  
- положения суставов робота,  
- изображения с камеры (глубина, цвет или облака точек).  

**Пространство действий** позволяет:  
- отправлять управляющие сигналы в виде усилий или скоростей в пространстве задач робота,  
- управлять положением захватного устройства,  
- задавать усилия в конфигурационном пространстве робота.  

### Гибкая настройка агентов

В составе модуля реализован класс **ExperimentManager**, который управляет предварительной настройкой агентов обучения. Конфигурации описываются в формате YAML. Пример гиперпараметров для алгоритма TD3 доступен [здесь](https://git.robossembler.org/nodes/seed.robossembler.org/rad:z46gtVRpXaXrGQM7Fxiqu7pLy7kip/tree/env_manager/rbs_gym/hyperparams/td3.yml).  

Поддерживаются следующие алгоритмы обучения:  
- [TD3](https://arxiv.org/abs/1802.09477)
- [SAC](https://arxiv.org/abs/1801.01290)
- [TQC](https://arxiv.org/abs/2005.04269)

### Общая структура и примеры

Общий вид среды обучения для задачи достиженая точки пространства представлен на изображении:  

![rbs_gym_env_view](img/env.jpg)

_Общий вид среды для задачи "достижения точки" в **rbs_gym**_

На рисунке точка отмечена зеленым шаром. Каждую эпоху обучения выбираются разные позиции для робота в конфигурационном пространстве, а также позиция объекта выбирается случайным образом.

Диаграмма классов на примере задачи Reach детализирует архитектуру модуля:  

![rbs_gym_class_diagram](img/rbs_gym_class_diagram.png)  
*Диаграмма классов для задачи Reach*

Агент использует усилия в пространстве задач для достижения до точки.  

**Управляющие сигналы**:  

$$
\bm{W} = \begin{bmatrix} f_x & f_y & f_z & 0 & 0 & 0 \end{bmatrix}^T
$$

где $f$ — компоненты силы.  

**Пространство наблюдения**:  

$$
\bm{O} = \begin{bmatrix} \bm{p}_e & \bm{p}_o & \bm{v}_e \end{bmatrix}^T
$$  

где:  
- $\bm{p}_e = [x, y, z]^T$ — положение эффектора робота,  
- $\bm{p}_o = [x, y, z]^T$ — положение цели,  
- $\bm{v}_e$ — пространственный вектор скорости эффектора.  

**Функция наград**:  

1. **За уменьшение дистанции до цели**:  

$$
R_d = \sum_{t=0}^{T-1} \Delta D_t \cdot 10
$$

где $T$ — число шагов, $D_t$ — расстояние до цели, $\Delta D_t = D_{t} - D_{t-1}$.  

2. **За коллизии**:  

$$
R_c = \sum_{t=0}^{T-1} \begin{cases} 
-10, & \text{если } q_t \in C_o, \\ 
0, & \text{иначе} 
\end{cases}
$$  

где $C_o$ — пространство коллизий.  

3. **Штраф за медленное выполнение задачи**:  

$$
R_q = \sum_{t=0}^{T-1} -0.01
$$  

4. **Бонус за достижение цели**:  

$$
R_s = \begin{cases} 
100, & \text{если } D_t < 0.05, \\ 
0, & \text{иначе.} 
\end{cases}
$$  

**Результирующая награда**:  

$$
R = R_c + R_d + R_q + R_s
$$  

Агент считается обученным, если $R = 100 \pm 10$ за эпизод.

### Тестирование и результаты  

На графике представлены результаты обучения:  

![train_metrics](img/train_metrics-1.jpg)  
*Графики обучения. Допустимая область (100 ± 10) показывает диапазон, при котором агент считается обученным.*  

### Самостоятельный запуск обучения

Для самостоятельно запуска этого примера следуйте [инструкции](https://gitlab.com/solid-sinusoid/env_manager/-/blob/main/docs/getting_started/getting_started.ru.md).

## Имитационное обучение с помощью деревьев поведения

Описанный выше модуль `rbs_gym` также можно использовать для более специфических сценариев применения - в частности, для имитационного обучения, где обучение с подкреплением дополняется демонстрациями, полученными в симуляторе или с помощью устройств телеуправления роботом. Ниже приведена диаграмма ориентировочной реализации такого сценария, на которой отражены основные модули системы и их взаимосвязи.

![robossembler imitation learning](img/rbs_imitation_learning_usecase.jpg)

На диаграмме показано каким образом программные модули фреймворка `bt_executor`, `scene_builder`, `rbs_runtime`, `env_manager` интегрируются со сторонними библиотеками - в частности, с библиотекой [lerobot](https://github.com/huggingface/lerobot), из которой используются модули для формирования `Policy`, обучения и конвертации датасета. На диаграмме также выделены примитивы дерева поведения, среди которых можно отметить RecordEpisode, осуществляющий запись демонстраций в runtime в цикле.