
Data Engineer
CLO Virtual Fashion
๐ฐ๐ท South Korea
On-site
5 months ago
- Airflow
- Flink
- Databricks
- ETL
- ELT
- BigQuery
- Terraform
- IaC
- Apache Airflow
- Apache Kafka
- AWS
- GCP
- Docker
- CI/CD
- Git
- GitLab CI
- Jenkins
- AI
5 months ago
ย
*์๋ฅ ์ ์ถ ์ ์ด๋ ฅ์ ๋ฐ ํฌํธํด๋ฆฌ์ค ์ ์ถ์ด ํ์์ด๋ฉฐ, ์ ์ถํ์ ์๋ฃ๋ง์ผ๋ก ํ๋จ์ด ์ด๋ ค์ด ๊ฒฝ์ฐ ์ถ๊ฐ ์๋ฃ๋ฅผ ์์ฒญ๋๋ฆด ์ ์์ต๋๋ค.
Responsibilities
- ๋ฐฐ์น, ์ค์๊ฐ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ์ค๊ณ, ๊ตฌ์ถ ๋ฐ ์ด์
- Airflow, Kafka, Flink, Spark(Databricks) ๋ฑ์ ํ์ฉํ ETL/ELT ๊ฐ๋ฐ
- BigQuery ๋ฑ ํด๋ผ์ฐ๋ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค ์ค๊ณ ๋ฐ ์ต์ ํ
- Terraform์ ํ์ฉํ ๋ฐ์ดํฐ ์ธํ๋ผ IaC ๊ตฌ์ถ ๋ฐ ๊ด๋ฆฌ
- ๋ฐ์ดํฐ ํ์ง ๋ชจ๋ํฐ๋ง
- ๋ฐ์ดํฐ ๊ฑฐ๋ฒ๋์ค ์ ์ฑ ์๋ฆฝ
- ๋ฐ์ดํฐ ํ๋ซํผ ๋น์ฉ ์ต์ ํ ๋ฐ ์ฑ๋ฅ ํ๋
Requirements
- ๋ฐ์ดํฐ ์์ง๋์ด ๊ฒฝ๋ ฅ 3๋ ์ด์
- ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค ์ค๊ณ ๋ฐ ๊ตฌ์ถ ๊ฒฝํ
- Apache Airflow ๊ธฐ๋ฐ ์ํฌํ๋ก์ฐ ์ค๊ณ ๋ฐ ์ด์ ๊ฒฝํ
- Apache Kafka๋ฅผ ํ์ฉํ ์ด๋ฒคํธ ๋๋ฆฌ๋ธ ์ํคํ ์ฒ ๊ตฌ์ถ ๊ฒฝํ
- AWS/GCP ์ค 1๊ฐ ์ด์ ํด๋ผ์ฐ๋ ํ๋ซํผ ์ค๋ฌด ๊ฒฝํ
Plus if you have
์ค์๊ฐ ์คํธ๋ฆฌ๋ฐ ํ์ดํ๋ผ์ธ ์ค๊ณ, ์ด์ ๊ฒฝํ(Flink, CDC)
DataOps ํ์ดํ๋ผ์ธ ๊ตฌ์ถ ๊ฒฝํ
Docker/Kubernets ๊ธฐ๋ฐ ์ปจํ ์ด๋ ์ด์ ๊ฒฝํ
CI/CD ํ์ดํ๋ผ์ธ ๊ตฌ์ถ ๊ฒฝํ (Git Actions/GitLab CI/Jenkins ๋ฑ)
AI Agent ํ์ฉ ๋ฅ๋ ฅ
Data Engineer ยท CLO Virtual Fashion