---
language: ko
license: apache-2.0
tags:
- reinforcement-learning
- robotics
- bipedal
- mujoco
- mjlab
- microduck
- ppo
pipeline_tag: reinforcement-learning
---

# 🦆 MicroDuck 걷기 정책 — 한국어 실행 기록

[MicroDuck](https://huggingface.co/spaces/pollen-robotics/microduck-simulator)(Pollen Robotics의 25cm 이족보행 오리 로봇)에게 **걷는 법을 강화학습으로 가르친 정책**입니다.
걷는 방법은 코드 한 줄도 가르치지 않았습니다 — 시뮬레이션 속 가상 오리 4,096마리가 동시에 넘어지고 일어나며, PPO 알고리즘이 "잘 걸은 움직임"을 골라 뇌(신경망) 하나로 합쳐가는 방식입니다.

**마이크로덕 학습 파이프라인의 한국어 공개 기록**을 목표로, 실패를 포함한 전 과정을 기록하며 만들어졌습니다.

<video src="preview_walk.mp4" controls autoplay muted loop width="480"></video>

## 파일

| 파일 | 설명 |
|------|------|
| **`bruno_walk_v2.onnx`** | **평지 플래그십** — 2차 런(재개 학습)의 4,500 iteration 체크포인트. 졸업 시험 3종목(0.3/0.5 m/s 직진 + 회전 주행) 종합 1위 |
| **`bruno_walk_v4_rough.onnx`** | **험지 전문가** — v2 계보에서 거친 지형 태스크로 +3,000 iteration 파인튜닝. 2cm 자갈밭에서 v2는 넘어지지만 v4는 서서 전진합니다 (평지 속도는 v2의 절반 — 상황별 뇌 교체 용도) |
| `bruno_walk_3250it.onnx` | 1차 런 결과 (3,250 iteration에서 크레딧 소진으로 중단) |
| `preview_walk.mp4` | 졸업 모델의 0.5 m/s 고속 주행 — 10초 2.11m, 넘어짐 없음 |

## 졸업 시험 결과 (자체 벤치마크)

체크포인트를 37,250 iteration까지 뽑아 비교한 결과, **실력은 ~4,500 iteration에서 완성**되었고
그 이후 3만+ iteration은 시험 점수가 정체/미세 하락했습니다 (37,000 체크포인트는 고속 주행에서 오히려 퇴보).
"더 오래 학습 ≠ 더 잘함"의 실측 사례로 기록합니다.

| 체크포인트 | 0.3m/s 직진 | 0.5m/s 고속 | 회전 | 종합 |
|------|------|------|------|------|
| **4,500 (졸업)** | 0.67m | **2.11m** | 0.37m | **3.15m** |
| 12,000 | 0.79m | 1.94m | 0.36m | 3.09m |
| 20,000 | 0.64m | 2.10m | 0.33m | 3.07m |
| 37,000 | 0.64m | 1.17m | 0.38m | 2.19m |

## 사용법

[mjlab 기반 MicroDuck 학습 스택](https://github.com/pollen-robotics/mjlab_microduck)에서:

```bash
# 헤드리스 검증 영상 생성
uv run python scripts/rollout_video.py bruno_walk_3250it.onnx out.mp4 0.25 15
```

전진 속도 명령은 **0.25 m/s 이상**을 권장합니다 (0.15에서는 거의 걷지 않음 — 실험으로 확인).

## 학습 정보

- **태스크**: `Mjlab-Velocity-Flat-MicroDuck` (평지 속도 추종 보행)
- **알고리즘**: PPO (rsl_rl) · 병렬 4,096 환경 · MuJoCo Warp
- **하드웨어**: Hugging Face Jobs 클라우드 GPU (NVIDIA L4 / A10G)
- **재개 학습**: 중단된 런의 체크포인트를 새 잡이 내려받아 이어서 학습하는 방식 사용

## 기록

이 모델은 "두바이에서 로봇 오리를 강화학습으로 키우는" 프로젝트의 일부입니다.
같은 제작자의 첫 강화학습 공개 모델: [Brunocho/ppo-Pusher-v5](https://huggingface.co/Brunocho/ppo-Pusher-v5)

*Microduck × Zellys · Dubai · 2026*