Описать сценарий применения Фреймворка для задачи отладки алгоритмов распознавания

movefasta commented

2023-07-29 17:16:44 +03:00

(Migrated from gitlab.com)

Навык: perception

Что есть:

SQL DB - хранит ссылки на эти файлы и хеши, хранит конфигурацию - что из чего состоит и для чего применяется;
Assets DB - хранит меши, текстуры, веса и т.д.
рантайм (с навыками)
меши
текстуры хранятся в файлах
веса нейронной сети
архитектура нейронной сети

Тезис №1. Для отладки навыка нужно запускать рантайм на разных машинах. Нет смысла запускать рантайм из продакшн машины, чтобы отлаживать алгоритмы в симуляции. Рантайм, который запущен на отдельном сервере. Env_manager применяется по-другому - он запускается для рантаймов, запущенных в облаке в виде отдельных инстансов, а для рантайма, который запущен на проде (действующем роботе), он не применяется.

Тезис №2. Расхождение в итоговом результате симуляторов незначительно, но они отличаются по скорости вычислений.

Конфигурация рантайма:

Параметры MoveIt
Параметры Plansys
Версии Пакетов ROS

UPD 21.11.2023 обсудили с @shalenikol фазы запуска:

Для автоматической проверки навыков (на примере pose estimation) нужно
- Фаза параметров рандомизации/fuzzing
  - Параметры рандомизации - список параметризируемых функций, генерирующих данные объекты
    - меш объекта - mesh(список мешей)
    - позиция объекта - spin_around_object(geometry_msgs/Pose.msg, x/y/z/w)
    - алгоритм распознавания - pose_estimation_algo(список алгоритмов-строк)
    - позиция камеры - cam_pose(geometry_msgs/Pose.msg)
    - текстуры - texture_objects([mesh],[texture])
- Фаза заготовки
  - Заготовка сцены (исходное состояние) - SDF
  - Проверяемый параметр и его тип (Для проверки нужно сравить позицию из SDF с выводом результирующей позиции навыка) - например, позиция объекта - geometry_msgs/Pose.msg или время исполнения std_msgs/Header.msg/time stamp
  - Место публикации искомого параметра и определённого навыком параметра - топик ROS
  - Способ визуализации позиции - фрейм, который выводится в RViz, или геометрический объект на изображении
  - Запускаемый навык как программу ros2 run pose_estimation_bt
  - Кол-во циклов
- Фаза проверки
  - Запуск теста
  - Запись результатов, логов (rosbag)
- Фаза оценки
  - Воспроизведение логов

TODO:

Нужно продумать варианты для

Обучения с подкреплением (RL)
Обучения с учителем (SL)

**Навык**: perception Что есть: - SQL DB - хранит ссылки на эти файлы и хеши, хранит конфигурацию - что из чего состоит и для чего применяется; - Assets DB - хранит меши, текстуры, веса и т.д. - рантайм (с навыками) - меши - текстуры хранятся в файлах - веса нейронной сети - архитектура нейронной сети Тезис №1. Для отладки навыка нужно запускать рантайм на разных машинах. Нет смысла запускать рантайм из продакшн машины, чтобы отлаживать алгоритмы в симуляции. Рантайм, который запущен на отдельном сервере. Env_manager применяется по-другому - он запускается для рантаймов, запущенных в облаке в виде отдельных инстансов, а для рантайма, который запущен на проде (действующем роботе), он не применяется. Тезис №2. Расхождение в итоговом результате симуляторов незначительно, но они отличаются по скорости вычислений. Конфигурация рантайма: - Параметры MoveIt - Параметры Plansys - Версии Пакетов ROS **UPD 21.11.2023 обсудили с @shalenikol фазы запуска**: - Для автоматической проверки навыков (на примере pose estimation) нужно - **Фаза параметров рандомизации/fuzzing** - Параметры рандомизации - список параметризируемых функций, генерирующих данные объекты - меш объекта - mesh(список мешей) - позиция объекта - spin_around_object(`geometry_msgs/Pose.msg`, `x/y/z/w`) - алгоритм распознавания - pose_estimation_algo(список алгоритмов-строк) - позиция камеры - cam_pose(`geometry_msgs/Pose.msg`) - текстуры - texture_objects([mesh],[texture]) - **Фаза заготовки** - Заготовка сцены (исходное состояние) - SDF - Проверяемый параметр и его тип (Для проверки нужно сравить позицию из SDF с выводом результирующей позиции навыка) - например, позиция объекта - `geometry_msgs/Pose.msg` или время исполнения `std_msgs/Header.msg/time stamp` - Место публикации искомого параметра и определённого навыком параметра - топик ROS - Способ визуализации позиции - фрейм, который выводится в RViz, или геометрический объект на изображении - Запускаемый навык как программу `ros2 run pose_estimation_bt` - Кол-во циклов - **Фаза проверки** - Запуск теста - Запись результатов, логов (rosbag) - **Фаза оценки** - Воспроизведение логов **TODO:** Нужно продумать варианты для 1. Обучения с подкреплением (RL) 2. Обучения с учителем (SL)

movefasta commented

2023-07-29 17:16:45 +03:00

(Migrated from gitlab.com)

assigned to @movefasta

movefasta commented

2023-11-21 17:44:45 +03:00

(Migrated from gitlab.com)

changed the description

movefasta commented

2023-11-21 17:45:25 +03:00

(Migrated from gitlab.com)

changed the description

movefasta commented

2023-11-21 17:45:34 +03:00

(Migrated from gitlab.com)

changed the description

movefasta commented

2023-11-21 17:45:53 +03:00

(Migrated from gitlab.com)

changed the description

movefasta commented

2023-11-21 17:47:22 +03:00

(Migrated from gitlab.com)

changed the description

movefasta commented

2023-11-21 17:55:23 +03:00

(Migrated from gitlab.com)

changed the description

movefasta commented

2023-11-21 18:03:27 +03:00

(Migrated from gitlab.com)

changed the description

movefasta commented

2023-11-21 18:04:16 +03:00

(Migrated from gitlab.com)

assigned to @shalenikol and unassigned @movefasta

movefasta commented

2023-11-21 18:04:23 +03:00

(Migrated from gitlab.com)

unassigned @shalenikol

movefasta commented

2023-11-21 18:05:26 +03:00

(Migrated from gitlab.com)

changed the description

movefasta commented

2023-11-21 19:41:24 +03:00

(Migrated from gitlab.com)

assigned to @movefasta

movefasta commented

2023-11-22 11:56:17 +03:00

(Migrated from gitlab.com)

changed the description

ius.mark.alex commented

2024-03-24 15:41:45 +03:00

(Migrated from gitlab.com)

mentioned in merge request !82

movefasta commented

2024-05-02 17:26:02 +03:00

(Migrated from gitlab.com)

Результат совещания 02.05.2024

Порядок подготовки сцены:

Формируем модели линков (ассеты с шарнирами)
Задаём координаты размещения роботов, их DoF и др. параметры - scene_config.yaml
Запускаем - python3 robot_builder.py --name "arm1" --spawn_position [0,0,0,0,0,0] --ndof 6 --gripper "rbs_gripper"
robot_builder генерирует URDF и конфиг для запуска симуляции и runtime
Запуск ROS 2 runtime и запись rosbag
Обработка rosbag и генерация фреймов для анимации в Blender c scene_config.yaml
Генерация GlTF-сцены и Blender-сцены - задача

Результат совещания 02.05.2024 ## Порядок подготовки сцены: 0. Формируем модели линков (ассеты с шарнирами) 1. Задаём координаты размещения роботов, их DoF и др. параметры - scene_config.yaml 2. Запускаем - python3 robot_builder.py --name "arm1" --spawn_position [0,0,0,0,0,0] --ndof 6 --gripper "rbs_gripper" 3. robot_builder генерирует URDF и конфиг для запуска симуляции и runtime 4. Запуск ROS 2 runtime и запись rosbag 5. Обработка rosbag и генерация фреймов для анимации в Blender c scene_config.yaml 6. Генерация GlTF-сцены и Blender-сцены - задача

movefasta (Migrated from gitlab.com) closed this issue

2025-02-27 16:59:18 +03:00

Rows
Columns

Описать сценарий применения Фреймворка для задачи отладки алгоритмов распознавания #105

Порядок подготовки сцены: