LLM Engineer (Data Generation)
- AI
- Machine Learning
- Python
- RLHF
- OpenAI
- Airflow
- Ray
- Natural Language Processing
About the Team & Mission
LLM Engineer (Data Generation)๋ Data-Centric AI ๊ด์ ์์ ๋ชจ๋ธ ์ฑ๋ฅ ํฅ์์ ํ์ํ ํ์ต ๋ฐ์ดํฐ๋ฅผ ์ค๊ณยท์์ฑยทํ๊ฐยท๊ฐ์ ํ๋ ์ญํ ์ ์ํํฉ๋๋ค.
๋ชจ๋ธ์ ์ฑ๋ฅ ๋ณ๋ชฉ๊ณผ Failure case๋ฅผ ๋ถ์ํ์ฌ ๋ฐ์ดํฐ ์๊ตฌ์ฌํญ์ ์ ์ํ๊ณ , Instruction Data, Preference Data, Reasoning Data, Domain-specific Data ๋ฑ ๋ชฉ์ ์ ๋ง๋ ํ์ต ๋ฐ์ดํฐ๋ฅผ ๊ตฌ์ถํ๋ฉฐ, Data Generation Pipeline, ํ์ต ๊ฒฐ๊ณผ ๊ธฐ๋ฐ Data Evaluation, Data Curation์ ํตํด ๋๊ท๋ชจ ํ์ต ๋ฐ์ดํฐ์ ํ์ง์ ์ฒด๊ณ์ ์ผ๋ก ๊ฐ์ ํ๊ณ , ์ฐจ์ธ๋ Generative AI ๋ชจ๋ธ์ ์ฑ๋ฅ ํฅ์์ ๊ธฐ์ฌํฉ๋๋ค.
Responsibilities
๋ชจ๋ธ ์ฑ๋ฅ ๊ฐ์ ์ ์ํ ๋ฐ์ดํฐ ์ค๊ณ ๋ฐ ์์ฑ
Research ๋ฐ Model Training ํ๊ณผ ํ์ ํ์ฌ ๋ชจ๋ธ์ ์ฑ๋ฅ ๋ณ๋ชฉ, Failure Case, ํ์ต ๋ชฉํ๋ฅผ ๋ถ์ํ๊ณ ๋ฐ์ดํฐ ์๊ตฌ์ฌํญ์ ์ ์ํฉ๋๋ค.
Instruction Data, Preference Data, Reasoning Data, Domain-specific Data ๋ฑ ๋ชฉ์ ์ ๋ง๋ ํ์ต ๋ฐ์ดํฐ๋ฅผ ์ค๊ณยท์์ฑยท์ ์ ํฉ๋๋ค.
์์ฑ๋ ๋ฐ์ดํฐ๊ฐ ๋ชจ๋ธ ์ฑ๋ฅ์ ๋ฏธ์น๋ ์ํฅ์ ์คํ์ ์ผ๋ก ๋ถ์ํ๊ณ , ๊ฒฐ๊ณผ๋ฅผ ๋ฐํ์ผ๋ก ๋ฐ์ดํฐ ์์ฑ ์ ๋ต์ ๋ฐ๋ณต์ ์ผ๋ก ๊ฐ์ ํฉ๋๋ค.
Data Generation Pipeline ๊ตฌ์ถ
Synthetic Data๋ฅผ ํฌํจํ ํ์ต ๋ฐ์ดํฐ ์์ฑ ์๋ํ ํ์ดํ๋ผ์ธ์ ์ค๊ณํ๊ณ ์ด์ํฉ๋๋ค.
๋๊ท๋ชจ ๋ฐ์ดํฐ ์์ฑ Workflow๋ฅผ ๊ตฌ์ถํ์ฌ ์์ ์ ์ด๊ณ ํจ์จ์ ์ธ ๋ฐ์ดํฐ ์์ฐ ํ๊ฒฝ์ ์ ๊ณตํฉ๋๋ค.
์์ฑ ๋น์ฉ, ์ฒ๋ฆฌ ์๋ ๋ฐ ํ์ง์ ๊ณ ๋ คํ Pipeline์ ์ง์์ ์ผ๋ก ์ต์ ํํฉ๋๋ค.
Data Quality ๋ฐ Evaluation
๋ฐ์ดํฐ์ ํ์ง๊ณผ ํ์ต ํจ๊ณผ๋ฅผ ์ ๋์ ยท์ ์ฑ์ ์ผ๋ก ํ๊ฐํ๋ ๊ธฐ์ค์ ์ ์ํฉ๋๋ค.
LLM-as-a-Judge, Rule-based Validation, Human Feedback ๋ฑ์ ํ์ฉํ์ฌ ๋ฐ์ดํฐ ํ์ง์ ๊ฒ์ฆํฉ๋๋ค.
๋ฐ์ดํฐ ํ์ง ๊ฐ์ ์ ์ํ Iterative Generation ๋ฐ Filtering ์ ๋ต์ ๊ฐ๋ฐํฉ๋๋ค.
Qualifications
LLM, Machine Learning ๋๋ Data Generation ๊ด๋ จ ์ ๋ฌด ๊ฒฝ๋ ฅ 3๋ ์ด์
๋ฅ๋ฌ๋, ๋จธ์ ๋ฌ๋ ๋ฐ ์์ฐ์ด์ฒ๋ฆฌ์ ๋ํ ์ ๋ฐ์ ์ธ ์ดํด
๋ชจ๋ธ ํ์ต ๋ฐ์ดํฐ์ ๊ตฌ์ฑ, ์ ์ฒ๋ฆฌ, ํ์ง ํ๊ฐ ๋ฐ ํ์ต ๋ฐ์ ๊ณผ์ ์ ๋ํ ์ดํด
Python ๊ธฐ๋ฐ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋ฐ ์๋ํ ๊ฐ๋ฐ ์ญ๋
๋๊ท๋ชจ ํ์ต ๋ฐ์ดํฐ์ ์ ์ฒ๋ฆฌ, ์ ์ , ํํฐ๋ง ๋ฐ ํ์ง ๊ด๋ฆฌ ๊ฒฝํ ๋๋ ์ด์ ์คํ๋ ์ญ๋
LLM์ ํ์ฉํ Synthetic Data ์์ฑ, Data Evaluation ๋๋ Data Curation ๊ฒฝํ
LLM API ๋ฐ Prompting/Generation Strategy์ ๋ํ ์ดํด ๋๋ ํ์ฉ ๊ฒฝํ
๋ฐ์ด๋ ๋ฌธ์ ํด๊ฒฐ ๋ฅ๋ ฅ๊ณผ ํ์ ๋ฐ ์ปค๋ฎค๋์ผ์ด์ ์ญ๋
Preferred Qualifications
LLM Pre-training, Supervised Fine-tuning(SFT), Preference Optimization(DPO/RLHF/RLAIF) ๋ฑ LLM ๋๊ท๋ชจ ํ์ต ๋ฐ์ดํฐ ๊ตฌ์ถ ๊ฒฝํ
LLM Evaluation Framework(OpenAI Evals, LM Evaluation Harness, DeepEval ๋ฑ) ๋๋ ์์ฒด ํ๊ฐ ์์คํ ๊ตฌ์ถ ๊ฒฝํ
๋ฉํฐํด ๋ํ, Tool Calling, Agent, Reasoning, Code Generation ๋ฑ ๊ณ ๋๋ LLM ๋ฐ์ดํฐ ์ค๊ณ ๊ฒฝํ
Python ๊ธฐ๋ฐ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ(Airflow, Ray, Spark ๋ฑ) ๋๋ ๋๊ท๋ชจ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ํ๊ฒฝ ๊ตฌ์ถ ๊ฒฝํ
Generative AI, LLM, NLP ๊ด๋ จ ์คํ์์ค ํ๋ก์ ํธ ๊ธฐ์ฌ ๋๋ ๋ ผ๋ฌธยท๊ธฐ์ ๋ฐํ ๊ฒฝํ
Interview Process
์๋ฅ ์ ํ
์ฝ๋ฉยท๊ณผ์ ํ ์คํธ
1์ฐจ ๋ฉด์ (ํ์, 1์๊ฐ ๋ด์ธ)
2์ฐจ ๋ฉด์ (๋๋ฉด ํน์ ํ์, 3์๊ฐ ๋ด์ธ)
์ฒ์ฐ ํ์ยท์ ์ฌ
Additional Information
์ ํ ์ ์ฐจ๋ ์ผ์ ๋ฐ ์งํ ์ํฉ์ ๋ฐ๋ผ ์ผ๋ถ ๋ณ๊ฒฝ๋ ์ ์์ผ๋ฉฐ, ๊ฐ ์ ํ ๊ฒฐ๊ณผ๋ ๋ฑ๋กํ์ ์ด๋ฉ์ผ๋ก ๊ฐ๋ณ ์๋ด๋๋ฆฝ๋๋ค.
์ง์์ ์ ์ถ ์ ์ฃผ๋ฏผ๋ฑ๋ก๋ฒํธ, ๊ฐ์กฑ๊ด๊ณ, ํผ์ธ ์ฌ๋ถ, ์ฐ๋ด, ์ฌ์ง, ์ ์ฒด์กฐ๊ฑด, ์ถ์ ์ง์ญ ๋ฑ ์ฑ์ฉ์ ์ฐจ๋ฒ์ ์๊ตฌ ๊ธ์ง๋ ์ ๋ณด๋ ์ ์ธ ๋ถํ๋๋ฆฝ๋๋ค.
์ง์์ ์ ์ ์ค ์ค๋ฅ๊ฐ ๋ฐ์ํ๊ฑฐ๋ ๊ธฐํ ๋ฌธ์ ์ฌํญ์ด ์์ ๊ฒฝ์ฐ, recruit@42dot.ai๋ก ๋ฌธ์ํด ์ฃผ์๊ธฐ ๋ฐ๋๋๋ค.
๊ตญ๊ฐ๋ณดํ๋์์ ๋ฐ ์ทจ์ ๋ณดํธ ๋์์๋ ๊ด๊ณ๋ฒ๋ น์ ๋ฐ๋ผ ์ฐ๋ํฉ๋๋ค.
์ฅ์ ์ธ ๊ณ ์ฉ ์ด์ง ๋ฐ ์ง์ ์ฌํ๋ฒ์ ๋ฐ๋ผ ์ฅ์ ์ธ ๋ฑ๋ก์ฆ ์์ง์๋ฅผ ์ฐ๋ํฉ๋๋ค.
42dot์ ์๋ขฐํ์ง ์์ ์์นํ์ ์ด๋ ฅ์๋ฅผ ๋ฐ์ง ์์ผ๋ฉฐ, ์์ฒญํ์ง ์์ ์ด๋ ฅ์์ ๋ํด ์์๋ฃ๋ฅผ ์ง๋ถํ์ง ์์ต๋๋ค.
์ง์์ ๋ด์ฉ ์ค ํ์ ์ฌ์ค์ด ๋ฐ๊ฒฌ๋ ๊ฒฝ์ฐ, ์ ์ฌ๊ฐ ์ทจ์๋ ์ ์์ต๋๋ค.
์ธํฐ๋ทฐ ํ๋ก์ธ์ค ์ข ๋ฃ ํ ์ง์์์ ๋์ํ์ ํํ์กฐํ๊ฐ ์งํ๋ ์ ์์ต๋๋ค.
3๊ฐ์์ ์์ต๊ธฐ๊ฐ์ด ์ ์ฉ๋ ์ ์์ต๋๋ค.
LLM Engineer (Data Generation) ยท 42dot