
Reinforcement Learning Engineer (Autonomous Driving)
- ๐ฐ๐ท South Korea
- Hybrid
- 1 day ago
- Machine Learning
- Python
- PyTorch
About the Team & Mission
42dot์ ์์จ์ฃผํ VLA ํ์ Vision-Language-Action (VLA) ๋ชจ๋ธ์ ํตํด ์ฐจ๋์ด ๋ณต์กํ ๋๋ก ์ํฉ์ ์ดํดํ๊ณ , ํ๋จ์ ์ฃผํ ํ๋์ผ๋ก ์ฐ๊ฒฐํ๋๋ก ๋ง๋๋ ๊ธฐ์ ์ ๊ฐ๋ฐํฉ๋๋ค. ์ค์ ์ฃผํ ๋ฐ์ดํฐ, ๋ชจ๋ธ ํ์ต, closed-loop simulation๊ณผ ์ค์ฐจ ๊ฒ์ฆ์ ์ฐ๊ฒฐํด ๋ชจ๋ธ์ ์ทจ์ฝ์ ์ ๋ฐ๊ฒฌํ๊ณ ์ฃผํ ์ฑ๋ฅ์ ์ง์์ ์ผ๋ก ๊ฐ์ ํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค.
์ด ํฌ์ง์ ์ end-to-end driving model์ ์ฃผํ ์ฑ๋ฅ์ ๋์ด๋ reinforcement learning ๋ฐฉ๋ฒ์ ๊ฐ๋ฐํฉ๋๋ค. Behavior cloning์ผ๋ก ํ์ตํ ๋ชจ๋ธ์ reward์ feedback์ผ๋ก ๋ ๊ฐ์ ํ ์ ์๋ ๊ธฐํ๋ฅผ ์ฐพ๊ณ , ์ ๋งํ ์์ด๋์ด์ ์ค๊ณ๋ถํฐ ๋๊ท๋ชจ ํ์ต, ์๋ฐํ ํ๊ฐ์ driving model ํตํฉ๊น์ง ์ฃผ๋ํ ๋ถ์ ์ฐพ์ต๋๋ค.
Responsibilities
VLA policy์ simulator์ observation/action interface๋ฅผ ์ค๊ณํ๊ณ GRPO, PPO ๋ฑ policy optimization ๊ธฐ๋ฒ์ผ๋ก closed-loop RL post-training์ ๊ฐ๋ฐํฉ๋๋ค.
Vector ๋๋ occupancy ๊ธฐ๋ฐ driving simulator์์ ego์ traffic agent๊ฐ ํ์ต ์ค์ธ policy ๋ฐ ๊ณผ๊ฑฐ checkpoint๋ก ์ํธ์์ฉํ๋ self-play training ๊ตฌ์กฐ๋ฅผ ๊ฐ๋ฐํฉ๋๋ค.
ํ์ต๋ policy์ candidate action๊ณผ trajectory๋ฅผ ์ฌ๋ฌ ๊ฐ๋ฅํ future scenario์์ rolloutํ๊ณ , expected return๊ณผ safety constraint์ ๊ธฐ๋ฐํ action selection์ simulation ํ๊ฒฝ ๊ฐ๋ฐ ๋ด๋น์์ ๊ณต๋ ๊ฐ๋ฐํฉ๋๋ค.
Closed-loop benchmark๋ก policy์ ์์ ์ฑ๊ณผ ์ผ๋ฐํ๋ฅผ ๊ฒ์ฆํ๊ณ reward hacking ๋ฐ simulator bias๋ฅผ ๋ถ์ํฉ๋๋ค.
Qualifications
Machine Learning, Reinforcement Learning ๋๋ Robotics ๊ด๋ จ ๊ฒฝ๋ ฅ 3๋ ์ด์ ๋๋ ์ด์ ์คํ๋ ์ฐ๊ตฌ/๊ฐ๋ฐ ์ญ๋์ ๋ณด์ ํ์ ๋ถ.
Python๊ณผ PyTorch๋ก policy learning ์๊ณ ๋ฆฌ์ฆ์ ๊ตฌํํ๊ณ ํ์ต๊ณผ ํ๊ฐ๋ฅผ ์ํํ ๊ฒฝํ์ด ์์ผ์ ๋ถ.
Policy optimization, reward design๊ณผ credit assignment๋ฅผ ์ดํดํ๊ณ RL ์คํ์ ์ค๊ณํ ์ ์์ผ์ ๋ถ.
Simulation ๋๋ multi-agent ํ๊ฒฝ์์ policy๋ฅผ ํ์ตํ๊ณ baseline ๋๋น ๊ฐ์ ์ ๊ฒ์ฆํ ๊ฒฝํ์ด ์์ผ์ ๋ถ.
ํด์ธ ์คํผ์ค์ ๊ธฐ์ ์ ์ด์๋ฅผ ๋ ผ์ํ๊ณ ํ์ ํ ์ ์๋ ์์ด ์ปค๋ฎค๋์ผ์ด์ ์ญ๋์ ๋ณด์ ํ์ ๋ถ.
Preferred Qualifications
Self-play, multi-agent RL ๋๋ policy population์ ํ์ฉํ training ๊ตฌ์กฐ๋ฅผ ๊ฐ๋ฐํ ๊ฒฝํ์ด ์์ผ์ ๋ถ.
VLA ๋๋ generative policy์ GRPO, PPO ๋ฑ RL post-training์ ์ ์ฉํ ๊ฒฝํ์ด ์์ผ์ ๋ถ.
Vector ๋๋ occupancy ๊ธฐ๋ฐ driving simulator์์ policy๋ฅผ ํ์ตํ๊ฑฐ๋, world model ๊ธฐ๋ฐ rollout planning์ ๊ฐ๋ฐํ ๊ฒฝํ์ด ์์ผ์ ๋ถ.
๋๊ท๋ชจ parallel rollout, distributed training ๋๋ sim-to-real ๊ฒ์ฆ ๊ฒฝํ์ด ์์ผ์ ๋ถ.
Interview Process
์๋ฅ ์ ํ
1์ฐจ ๋ฉด์ (ํ์, 1์๊ฐ ๋ด์ธ)
2์ฐจ ๋ฉด์ (๋๋ฉด ํน์ ํ์, 3์๊ฐ ๋ด์ธ)
์ฒ์ฐ ํ์ยท์ ์ฌ
Additional Information
์ ํ ์ ์ฐจ๋ ์ผ์ ๋ฐ ์งํ ์ํฉ์ ๋ฐ๋ผ ์ผ๋ถ ๋ณ๊ฒฝ๋ ์ ์์ผ๋ฉฐ, ๊ฐ ์ ํ ๊ฒฐ๊ณผ๋ ๋ฑ๋กํ์ ์ด๋ฉ์ผ๋ก ๊ฐ๋ณ ์๋ด๋๋ฆฝ๋๋ค.
์ง์์ ์ ์ถ ์ ์ฃผ๋ฏผ๋ฑ๋ก๋ฒํธ, ๊ฐ์กฑ๊ด๊ณ, ํผ์ธ ์ฌ๋ถ, ์ฐ๋ด, ์ฌ์ง, ์ ์ฒด์กฐ๊ฑด, ์ถ์ ์ง์ญ ๋ฑ ์ฑ์ฉ์ ์ฐจ๋ฒ์ ์๊ตฌ ๊ธ์ง๋ ์ ๋ณด๋ ์ ์ธ ๋ถํ๋๋ฆฝ๋๋ค.
์ง์์ ์ ์ ์ค ์ค๋ฅ๊ฐ ๋ฐ์ํ๊ฑฐ๋ ๊ธฐํ ๋ฌธ์ ์ฌํญ์ด ์์ ๊ฒฝ์ฐ, recruit@42dot.ai๋ก ๋ฌธ์ํด ์ฃผ์๊ธฐ ๋ฐ๋๋๋ค.
๊ตญ๊ฐ๋ณดํ๋์์ ๋ฐ ์ทจ์ ๋ณดํธ ๋์์๋ ๊ด๊ณ๋ฒ๋ น์ ๋ฐ๋ผ ์ฐ๋ํฉ๋๋ค.
์ฅ์ ์ธ ๊ณ ์ฉ ์ด์ง ๋ฐ ์ง์ ์ฌํ๋ฒ์ ๋ฐ๋ผ ์ฅ์ ์ธ ๋ฑ๋ก์ฆ ์์ง์๋ฅผ ์ฐ๋ํฉ๋๋ค.
42dot์ ์๋ขฐํ์ง ์์ ์์นํ์ ์ด๋ ฅ์๋ฅผ ๋ฐ์ง ์์ผ๋ฉฐ, ์์ฒญํ์ง ์์ ์ด๋ ฅ์์ ๋ํด ์์๋ฃ๋ฅผ ์ง๋ถํ์ง ์์ต๋๋ค.
์ง์์ ๋ด์ฉ ์ค ํ์ ์ฌ์ค์ด ๋ฐ๊ฒฌ๋ ๊ฒฝ์ฐ, ์ ์ฌ๊ฐ ์ทจ์๋ ์ ์์ต๋๋ค.
์ธํฐ๋ทฐ ํ๋ก์ธ์ค ์ข ๋ฃ ํ ์ง์์์ ๋์ํ์ ํํ์กฐํ๊ฐ ์งํ๋ ์ ์์ต๋๋ค.
3๊ฐ์์ ์์ต๊ธฐ๊ฐ์ด ์ ์ฉ๋ ์ ์์ต๋๋ค.
A message to Future Teammates
42dot์ ์์จ์ฃผํ VLA ํ์ Vision-Language-Action (VLA) ๋ชจ๋ธ์ ํตํด ์ฐจ๋์ด ๋ณต์กํ ๋๋ก ์ํฉ์ ์ดํดํ๊ณ , ํ๋จ์ ์ฃผํ ํ๋์ผ๋ก ์ฐ๊ฒฐํ๋๋ก ๋ง๋๋ ๊ธฐ์ ์ ๊ฐ๋ฐํฉ๋๋ค.
์ค์ ์ฃผํ ๋ฐ์ดํฐ, ๋ชจ๋ธ ํ์ต, closed-loop simulation๊ณผ ์ค์ฐจ ๊ฒ์ฆ์ ์ฐ๊ฒฐํด ๋ชจ๋ธ์ ์ทจ์ฝ์ ์ ๋ฐ๊ฒฌํ๊ณ ์ฃผํ ์ฑ๋ฅ์ ์ง์์ ์ผ๋ก ๊ฐ์ ํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค.
์ด ํฌ์ง์ ์ end-to-end driving model์ ์ฃผํ ์ฑ๋ฅ์ ๋์ด๋ reinforcement learning ๋ฐฉ๋ฒ์ ๊ฐ๋ฐํฉ๋๋ค. Behavior cloning์ผ๋ก ํ์ตํ ๋ชจ๋ธ์ reward์ feedback์ผ๋ก ๋ ๊ฐ์ ํ ์ ์๋ ๊ธฐํ๋ฅผ ์ฐพ๊ณ , ์ ๋งํ ์์ด๋์ด์ ์ค๊ณ๋ถํฐ ๋๊ท๋ชจ ํ์ต, ์๋ฐํ ํ๊ฐ์ driving model ํตํฉ๊น์ง ์ฃผ๋ํ ๋ถ์ ์ฐพ์ต๋๋ค.
Reinforcement Learning Engineer (Autonomous Driving) ยท 42dot