- どんな仕事か
-
※厳選求人※ 事前の合否判定・年収査定も可能。ハイクラス DX専門人材会社ウィンスリーが、年収交渉、面接対策、書類添削まですべてを支援。■Job Description
As an AI Evaluation Scientist, you will lead the design, construction, and operation of the AI agent Evaluation Infrastructure.
▽Evaluation Metric Research & Development
・Research and implement LLM-as-Judge calibration methods (rubric design, bias detection, proper scoring rules)
・Design, build, and validate evaluation benchmarks (construct validity, contamination detection)
・Research the application of reward modeling / preference learning to evaluation
・Select and design evaluation metrics (win rate, task success, factuality, harm detection)
・Design, build, and maintain evaluation sets (synthetic data + real logs)
▽Automated Evaluation Pipeline Design & Development
・Design and implement scalable automated evaluation pipelines
・Integrate evaluation pipelines into CI/CD and build quality gates
・Design agent evaluation harnesses (multi-turn, tool use, long-context support)
▽Safety & Quality Verification
▽Statistical Analysis & Experimental Design - 求められるスキルは
-
必須 ■You May Be a Good Fit If You
▽Technical Skills
・Deep knowledge of LLM / generative AI evaluation methods (benchmark design, LLM-as-Judge, quantitative output quality measurement, hallucination detection, etc.)
・Practical knowledge of statistics and experimental design (hypothesis testing, A/B testing, confidence intervals, effect sizes, etc.)
・Experience building ML / evaluation pipelines in Python
・Practical experience with machine learning frameworks (PyTorch, JAX, TensorFlow, etc.)
・Experience designing and implementing evaluation metrics (task-specific metric design beyond precision/recall)
▽ requirement (at least one of the following):
・Japanese: Fluent : able to discuss product development without friction
・English: Business level - 雇用形態は
- 正社員
- どこで働くか
- 東京都
- 勤務時間は
- 10:00?19:00
※土日祝は休業日となります
※出向の場合は、出向先の規程に準じます - 給与はどのくらい貰えるか
-
年収 8,000,000 円 - 16,000,000円
Monthly: \571,429?\1,142,857 (incl. 45h fixed overtime)
Stock options available
Reviews & bonuses: twice/year
OT beyond 45h paid separately
Negotiable based on experience and skills - 待遇・福利厚生は
-
【待遇・福利厚生】
・書籍購入補助（半期 30,000円まで）
・リフレッシュ手当（毎月 5,000円まで）
・部活動手当（毎月5,000円まで）
・家賃手当（当社指定の駅を対象とし毎月30,000円まで）
・シャッフルランチ/ディナー（四半期に一度ランチ1,000円まで、ディナー5,000円まで）
・資格取得支援制度、英語学習支援制度（業務に必要な場合のみ）
・リフレッシュ休暇制度（3年間継続勤務した社員へ毎年付与される特別休暇 2日）
・定期健康診断（年1回）
・従業員持株会
【保険】
・社会保険完備
【諸手当】
・交通費全額支給 - 休日休暇は
- 完全週休二日制
所定休日：土・日・祝日
休暇：年次有給休暇、夏季休暇（3日）、年末年始休暇（12月31日?1月3日）、慶弔休暇 - どんな選考プロセスか
-
1. Application Review
2. Coding Assessment
3. Interviews (4?5 rounds)
4. Offer
A reference check will be conducted prior to the final interview.
NEW
掲載期間26/08/04～26/08/17
求人No.WTH-39691
