Staff Backend Engineer (Orchestration Platform)
- Hive
- Airflow
- Apache Airflow
- Docker
- Kubernetes
- ArgoCD
- Terraform
- Java
- Python
- AWS
- GCP
ํ์ฌ ์๊ฐ
์ฟ ํก์ ๊ณ ๊ฐ ๊ฐ๋ ์คํ์ ์ํด ์กด์ฌํฉ๋๋ค. ๊ณ ๊ฐ๋ค์ด "์ฟ ํก ์์ด ๊ทธ๋์ ์ด๋ป๊ฒ ์ด์์๊น?" ๋ผ๊ณ ๋งํ ๋, ๋น๋ก์ ์ฐ๋ฆฌ์ ๋ฏธ์
์ ์คํํ๊ณ ์์์ ์ ์ ์์ต๋๋ค. ๊ณ ๊ฐ๋ค์ ์ผํ๊ณผ ์์ฌ, ์ํ ์ ๋ฐ์ ํธํ๊ฒ ๋ง๋ค๊ฒ ๋ค๋ ์ ์ผํ ์ง๋
์ผ๋ก ์ฟ ํก์ ์์ต ๋ฌ๋ฌ ๊ท๋ชจ์ ์ปค๋จธ์ค ์ฐ์
์ ๋ฐ์ ํ์ ์ ์ด๋๊ณ ์์ต๋๋ค. ์ฟ ํก์ ๊ฐ์ฅ ๋น ๋ฅด๊ฒ ์ฑ์ฅํ๋ ๋ฆฌํ
์ผ ๊ธฐ์
์ค ํ๋๋ก, ๊ตญ๋ด ์ปค๋จธ์ค ์
๊ณ์์์ ๋
๋ณด์ ์ธ ์
์ง์, ๊ณ ๊ฐ ์ ๋ขฐ๋ฅผ ๊ตฌ์ถํ์ต๋๋ค.
์ฟ ํก์ ์คํํธ์ ๋ฌธํ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ ๊ธ๋ก๋ฒ ๋ํ ์์ฅ์ฌ๋ผ๊ณ ์๋ถํฉ๋๋ค. ์ด๊ฒ์ด ์ฐฝ๋ฆฝ ๋น์์ ๊ธฐ๋ฏผํจ์ ์ ์งํ๋ฉฐ, ์ ๊ท ์๋น์ค๋ฅผ ๋์์์ด ์ถ์ํ๋ฉฐ ๋น์ฆ๋์ค๋ฅผ ํ์ฅํด ๋๊ฐ๋ ์ฐ๋ฆฌ์ ์ฑ์ฅ ๋๋ ฅ์ ๋๋ค. ์ฟ ํก์ ๋ชจ๋ ์์ง์์๊ฒ๋ ๊ธฐ์ ๊ฐ ์ ์ ์ ๊ฐ์ถ๊ณ ์๋ก์ด ํ์ ๊ณผ ์ด๋์ ํฐ๋ธ๋ฅผ ์ถ์งํ ์ ์๋ ๊ธฐํ๊ฐ ์ฃผ์ด์ง๋๋ค. ์ฃผ์ ์์ด ์ผ์ ๋ฐ์ด๋ค์ด ์ฑ๊ณผ๋ฅผ ์ด๋ฃจ๊ณ ์ ํ๋ ๊ณผ๊ฐ์ฑ์ด, ๋ฐ๋ก ์ฟ ํก์ด ์ผํ๋ ๋ฐฉ์์ ๋ณธ์ง์ ๋๋ค. ์ฟ ํก์์๋ ์ฌ๋ฌ๋ถ ์์ , ๋๋ฃ, ํ ๊ทธ๋ฆฌ๊ณ ํ์ฌ ์ ์ฒด๊ฐ ๋งค์ผ ์ฑ์ฅํ๋ ๋ชจ์ต์ ๋ชฉ๊ฒฉํ ๊ฒ์ ๋๋ค.
์ฟ ํก์ ๋ชจ๋ ์ง์์ ์ปค๋จธ์ค์ ๋ฏธ๋๋ฅผ ๋ง๋ค๊ฒ ๋ค๋ ์ฟ ํก์ ๋ฏธ์ ์ ์ง์ฌ์ ๋๋ค. ์ฐ๋ฆฌ๋ ๊ณ ๊ฐ์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํด ๋๊ฐ๊ณ , ์ ํต์ ์ธ ๊ด๋ ๊ณผ ํต๋ ์ ๋ง์๋ฉฐ ์คํ๊ฐ๋ฅํ ํ๊ณ๋ฅผ ๋ฐ์ด๋๊ณ ์์ต๋๋ค. ๊ณ ๊ฐ์ฉ์ฑ(Always-on) ๊ณผ ์ต์ฒจ๋จ์ ์์ ๊ธฐ์ (High-tech), ์ด์ฐ๊ฒฐ์ฌํ(Hyper-connected world) ์์์ ๋๋ผ์ด ์ ๋ฌด ๊ฒฝํ์ ์ํ์ ๋ค๋ฉด, ์ง๊ธ ๋ฐ๋ก ์ฟ ํก์ ํฉ๋ฅํ์ธ์.
ย
์ง๋ฌด ์๊ฐ
Data Platform ์กฐ์ง์ Orchestration Platform ํ์ ์ ์ฒด ๋น์ฆ๋์ค ๋๋ฉ์ธ์ ๊ฑธ์ณ Job scheduling ๋ฐ execution ์๋น์ค๋ฅผ ์ ๊ณตํฉ๋๋ค. Orchestration Platform ํ์ด ๊ด๋ฆฌํ๋ ์ธํ๋ผ๋ ๋ก๊ทธ ๋ถ์, ์ถ์ฒ, ๊ฐ๊ฒฉ ๋น๊ต, AB ํ ์คํธ, ๊ฒ์ ์ธ๋ฑ์ฑ, ๊ด๊ณ ๋ฐ ๋ก์ผ ๋ฐฐ์ก์ ํฌํจํ ๋ค์ํ ์ฟ ํก ์๋น์ค์ ๊ด๋ จ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ๋ฅผ ์ ๊ณตํฉ๋๋ค. ์ฐ๋ฆฌ๋ ์ฟ ํก ๊ณ ๊ฐ์๊ฒ ์ต๊ณ ์ ์ ์์๊ฑฐ๋ ๊ฒฝํ์ ์ ๊ณตํ๋ ๋ฐ ์ค์ํ ์ญํ ์ ํ๊ณ ์๋ค๊ณ ํ์ ํฉ๋๋ค.
Orchestration Platform ํ์ ํด๋ผ์ฐ๋ ํ๊ฒฝ์์ ๋งค์ผ ์์ญ๋ง ๊ฐ์ Hive/Spark ์์ ์ ์ฒ๋ฆฌํ๊ณ ์ฌ๋ฌ ํด๋ฌ์คํฐ์ ๊ฑธ์ณ ์๋ง ๊ฐ์ Airflow DAG๋ฅผ ์ด์ํฉ๋๋ค. ์ด๋ฅผ ์ํด Apache Airflow, Netflix Genie, Docker, Kubernetes, ArgoCD, Terraform๊ณผ ๊ฐ์ ์คํ ์์ค ๊ธฐ์ ๊ณผ Java ๋ฐ Python๊ณผ ๊ฐ์ ๊ฐ๋ฐ ์ธ์ด๋ฅผ ์ฌ์ฉํฉ๋๋ค.
์ฐ๋ฆฌ์ ๋น์ ์ ์์ง๋์ด๋ง ์์ฐ์ฑ์ ํฅ์์ํค๊ธฐ ์ํด ํ๋์ ์ธ ์ ํ ์๋น์ค ๋๊ตฌ๋ฅผ ์ ๊ณตํ๊ณ , ๋๊ตฌ๋ ์ฝ๊ฒ ๋ฐ์ดํฐ๋ฅผ ํ์ฉํ ์ ์๋๋ก ํ๋ฉฐ, ์ผ๊ด๋๊ฒ ํ์ฅ ๊ฐ๋ฅํ๊ณ ์ ๋ขฐํ ์ ์๋ ํ๋ซํผ์ ๊ตฌ์ถํ๋ ๊ฒ์ ๋๋ค. ์ฐ๋ฆฌ๋ ํ๊ตญ์ ๋์ด ๊ธ๋ก๋ฒ ์์ค์์ ๊ฐ์ฅ ๊ฒฌ๊ณ ํ ํ๋ซํผ ์๋น์ค๋ฅผ ๋ง๋ค ์ํํธ์จ์ด ์์ง๋์ด๋ฅผ ์ฐพ๊ณ ์์ต๋๋ค!
ย
์ ๋ฌด ๋ด์ฉ
- ์ดํด๊ด๊ณ์ ๋ฐ ๋ฆฌ๋ ์์ง๋์ด์ ํ๋ ฅํ์ฌ ์ฃผ์ ๋ฏธ์ ํฌ๋ฆฌํฐ์ปฌ ํ๋ก์ ํธ ์ํ
- Job scheduling ๋ฐ execution ํ๋ซํผ์ ์ค๊ณ ๋ฐ ๋ฐฐํฌ ์ฃผ๋
- ํด๋ฌ์คํฐ ์ด์ ํจ์จ์ฑ๊ณผ ์ฌ์ฉ์ ๊ฒฝํ์ ๊ฐ์ ํ๊ธฐ ์ํ ์ ํ ์๋น์ค ๋๊ตฌ ๊ฐ๋ฐ
- Data Platform ๊ด์ ์์ ๋น์ฆ๋์ค ๋ฐ ๊ธฐ์ ๊ฐ์ ํ๋ก์ ํธ์ ์ฐธ์ฌ
- ์ต์ ๋ฐ์ดํฐ ์์ง๋์ด๋ง ๊ธฐ์ ์ฐ๊ตฌ ๋ฐ ๊ฐ๋ฐ
ย
์๊ฒฉ ์๊ฑด
- Java ๋๋ Python๊ณผ ๊ฐ์ ํ๋ก๊ทธ๋๋ฐ ์ธ์ด์ ๋ฅ์
- ๋๊ท๋ชจ ์ํํธ์จ์ด ์ธํ๋ผ ์ค๊ณ, ๊ฐ๋ฐ ๋ฐ ์ ์ง ๊ด๋ฆฌ ๊ฒฝํ 10๋ ์ด์
- Kubernetes, Airflow ๋ฐ Genie์ ๊ฐ์ ๋ถ์ฐ ์์คํ ์ ๋ํ ์ ๋ฌธ ์ง์
- ๋ฐ์ด๋ ์์ฌ์ํต ๋ฅ๋ ฅ๊ณผ ๋๋ฃ์ ๊ฒฝํ๊ณผ ์ง์์ ๊ณต์ ํ๋ ์ด์
- ์๋ ๋๋ ๋ฐ๋ณต ์์ ์ ์๋ํํ๋ ค๋ ์ ๊ทน์ ์ธ ์ ๊ทผ ๋ฐฉ์
- AWS ๋ฐ GCP์ ๊ฐ์ ํด๋ผ์ฐ๋ ํ๊ฒฝ์์ ์น ์๋น์ค ์ค๊ณ ๋ฐ ๊ฐ๋ฐ ๊ฒฝํ
ย
์ ํ์ ์ฐจ
โข ์๋ฅ์ ํ - 1์ฐจ ๋ฉด์ - 2์ฐจ ๋ฉด์ - ์ต์ข
ํฉ๊ฒฉ
โข ์ ํ์ ์ฐจ๋ ์ง๋ฌด๋ณ๋ก ๋ค๋ฅด๊ฒ ์ด์๋ ์ ์์ผ๋ฉฐ, ์ผ์ ๋ฐ ์ํฉ์ ๋ฐ๋ผ ๋ณ๋๋ ์ ์์ต๋๋ค.
โข ์ ํ ์ผ์ ๋ฐ ๊ฒฐ๊ณผ๋ ์ง์์์ ๋ฑ๋กํ์ ์ด๋ฉ์ผ๋ก ๊ฐ๋ณ ์๋ด ๋๋ฆฝ๋๋ค.
์ฐธ๊ณ ์ฌํญ
โข ๋ณธ ๊ณต๊ณ ๋ ๋ชจ์ง ์๋ฃ ์ ์กฐ๊ธฐ ๋ง๊ฐ๋ ์ ์์ต๋๋ค.
โข ์ง์์ ๋ด์ฉ ์ค ํ์์ฌ์ค์ด ์๋ ๊ฒฝ์ฐ์๋ ํฉ๊ฒฉ์ด ์ทจ์๋ ์ ์์ต๋๋ค.
โข ์ทจ์
๋ณดํธ ๋์์(๋ณดํ๋์์, ์ฅ์ ์ธ ๋ฑ)๋ ๊ด๋ จ ๋ฒ๋ฅ ์ ๋ฐ๋ผ ์ฑ์ฉ์ฐ๋๋ฅผ ๋ฐ์ ์ ์์ต๋๋ค.
โข ์ง๊ธ๊ณผ ๋ด๋น ์
๋ฌด ๋ฒ์๋ ํ๋ณด์์ ์ ๋ฐ์ ์ธ ๊ฒฝ๋ ฅ๊ณผ ๊ฒฝํ ๋ฑ ์ ๋ฐ์ฌ์ ์ ๊ณ ๋ คํ์ฌ ๋ณ๊ฒฝ๋ ์ ์์ต๋๋ค. ์ด๋ฌํ ๋ณ๊ฒฝ์ด ํ์ํ ๊ฒฝ์ฐ, ์ต์ข
ํฉ๊ฒฉ ํต์ง ์ ์ ์ ํ ์๊ธฐ์ ํ๋ณด์์ ์ปค๋ฎค๋์ผ์ด์
๋ ์์ ์
๋๋ค.
โข ์ฑ์ฉ ๋ฐ ์
๋ฌด ์ํ๊ณผ ๊ด๋ จํ์ฌ ์๊ตฌ๋๋ ๋ฒ๋ น์ ์๊ฒฉ์ด ๊ฐ์ถ์ด์ง์ง ์์ ๊ฒฝ์ฐ ์ฑ์ฉ์ด ์ ํ๋ ์ ์์ต๋๋ค.
โข ๊ณ ์ฉํํ๋ ์ ๊ท์ง์ผ๋ก ์์ต๊ธฐ๊ฐ 12์ฃผ๋ฅผ ํฌํจํฉ๋๋ค. ๋จ, ์
๋ฌด์ ํ์ํ ๊ฒฝ์ฐ์๋ ์๊ธฐ ์์ต๊ธฐ๊ฐ์ ์ ์ฉํ์ง ์๊ฑฐ๋ ๋จ์ถ ๋๋ ์ฐ์ฅํ ์ ์์ต๋๋ค.
๊ฐ์ธ์ ๋ณด ์ฒ๋ฆฌ๋ฐฉ์นจ
โข ์ฟ ํก ๊ทธ๋ฃน์ ์
์ฌ์ง์์ ๊ฐ์ธ์ ๋ณด ์ฒ๋ฆฌ๋ฐฉ์นจ(์๋ ๋งํฌ)์ ๋ฐ๋ผ ๊ทํ์ ๊ฐ์ธ์ ๋ณด๋ฅผ ์์งํ์ฌ ์ฒ๋ฆฌํฉ๋๋ค.
https://www.coupang.jobs/kr/privacy-policy
์๋ฅ๋ฐํ์ ์ฑ
1.๋ณธ ๊ณ ์ง๋ ใ์ฑ์ฉ์ ์ฐจ์๊ณต์ ํ์๊ดํ๋ฒ๋ฅ ใ ์ 11์กฐ์ 6ํญ์ ๋ฐ๋ฅธ ๊ฒ ์
๋๋ค.
2.๋น์ฌ ์ฑ์ฉ์ ์์ํ ๊ตฌ์ง์ ์ค ์ต์ข
ํฉ๊ฒฉ์ด ๋์ง ๋ชปํ ๊ตฌ์ง์๋ ใ์ฑ์ฉ์ ์ฐจ์ ๊ณต์ ํ์ ๊ดํ ๋ฒ๋ฅ ใ์ ๋ฐ๋ผ ์ ์ถํ ์ฑ์ฉ์๋ฅ์ ๋ฐํ์ ์ฒญ๊ตฌํ ์ ์์์ ์๋ ค ๋๋ฆฝ๋๋ค.๋ค๋ง,ํํ์ด์ง ๋๋ ์ ์์ฐํธ์ผ๋ก ์ ์ถ๋ ๊ฒฝ์ฐ๋ ๊ตฌ์ง์๊ฐ ๋น์ฌ์ ์๊ตฌ ์์ด ์๋ฐ์ ์ผ๋ก ์ ์ถํ ๊ฒฝ์ฐ์๋ ๊ทธ๋ฌํ์ง ์๋ํ๋ฉฐ,์ฒ์ฌ์ง๋ณ์ด๋ ๊ทธ ๋ฐ์ ๋น์ฌ์๊ฒ ์ฑ
์ ์๋ ์ฌ์ ๋ก ์ฑ์ฉ์๋ฅ๊ฐ ๋ฉธ์ค๋ ๊ฒฝ์ฐ์๋ ๋ฐํํ ๊ฒ์ผ๋ก ๋ด
๋๋ค.
3.์2ํญ ๋ณธ๋ฌธ์ ๋ฐ๋ผ ์ฑ์ฉ ์๋ฅ ๋ฐํ ์ฒญ๊ตฌ๋ฅผ ํ๋ ๊ตฌ์ง์๋ ์ฑ์ฉ ์๋ฅ ๋ฐํ ์ฒญ๊ตฌ์ [์ฑ์ฉ์ ์ฐจ์ ๊ณต์ ํ์ ๊ดํ ๋ฒ๋ฅ ์ํ๊ท์น ๋ณ์ง ์ 3ํธ ์์]๋ฅผ ์์ฑํ์ฌ ์ด๋ฉ์ผ (recruitingops@coupang.com)๋ก ์ ์ถํ๋ฉด,์ ์ถ์ด ํ์ธ๋ ๋ ๋ก๋ถํฐ 14์ผ ์ด๋ด์ ์ง์ ํ ์ฃผ์์ง๋ก ๋ฑ๊ธฐ์ฐํธ์ ํตํ์ฌ ๋ฐ์กํด ๋๋ฆฝ๋๋ค.์ด ๊ฒฝ์ฐ ๋ฑ๊ธฐ์ฐํธ์๊ธ์ ์์ ์ ๋ถ๋ด์ผ๋ก ํ๊ฒ ๋์ค๋ ์ ๋
ํ์๊ธฐ ๋ฐ๋๋๋ค.
4.๋น์ฌ๋ ์2ํญ ๋ณธ๋ฌธ์ ๋ฐ๋ฅธ ๊ตฌ์ง์์ ๋ฐํ ์ฒญ๊ตฌ์ ๋๋นํ์ฌ ์ฑ์ฉ ์ฌ๋ถ๊ฐ ํ์ ๋ ๋ ๋ก๋ถํฐ 180์ผ๊ฐ ๊ตฌ์ง์๊ฐ ์ ์ถํ ์ฑ์ฉ์๋ฅ ์๋ณธ์ ๋ณด๊ดํ๊ฒ ๋๋ฉฐ,๊ทธ๋๊น์ง ์ฑ์ฉ์๋ฅ์ ๋ฐํ์ ์ฒญ๊ตฌํ์ง ์๋ํ ๊ฒฝ์ฐ์๋ ใ๊ฐ์ธ์ ๋ณด ๋ณดํธ๋ฒใ์ ๋ฐ๋ผ ์ง์ฒด ์์ด ์ฑ์ฉ์๋ฅ ์ผ์ฒด๋ฅผ ํ๊ธฐํ ์์ ์
๋๋ค.
5.๋จ,์1ํญ ๋ด์ง 4ํญ์ ๋ด์ฉ์ ๋ํ๋ฏผ๊ตญ์ ๋
ธ๋ ๊ด๊ณ ๋ฒ๋ น์ด ์ ์ฉ๋๋ ๊ฒฝ์ฐ์๋ง ์ ์ฉ๋ฉ๋๋ค.๊ทธ ์ด์ธ์ ๊ฒฝ์ฐ์๋ ์ ์ฉ๋์ง ์์ต๋๋ค.
Staff Backend Engineer (Orchestration Platform) ยท Coupang