なぜ募集しているのか: JAPAN AIは「JAPAN AI AGENT / CHAT / SPEECH」をはじめとするエンタープライズ向けAIエージェント群を急速に拡大しています。プロダクトの中核がLLM / マルチエージェントへ移行する中、AI出力の品質・安全性・信頼性を科学的に評価する専門組織を新設します。
どんな仕事か: ※厳選求人※ 事前の合否判定・年収査定も可能。ハイクラス DX専門人材会社ウィンスリーが、年収交渉、面接対策、書類添削まですべてを支援。
■業務内容
AI Evaluation Scientistとして、AIエージェントの評価基盤(Evaluation Infrastructure)の設計・構築・運用をリードしていただきます。

▽評価メトリクスの研究開発
・LLM-as-Judgeの校正手法の研究・実装(rubric設計、バイアス検出、proper scoring rules)
・評価ベンチマークの設計・構築・妥当性検証(construct validity、contamination detection)
・報酬モデリング/preference learningの評価への応用研究
・評価メトリクスの選定・設計(win rate、task success、factuality、harm detection)
・評価セット(合成データ+実ログ)の設計・構築・メンテナンス
▽自動評価パイプラインの設計・構築
・スケーラブルな自動評価パイプラインの設計・実装
・CI/CDへの評価パイプライン組込みと品質ゲートの構築
・エージェント評価ハーネスの設計(マルチターン・ツール利用・ロングコンテキスト対応)
・評価パイプラインの再現性・信頼性の担保
▽安全性・品質検証
・自動レッドチーミング(automated adversarial testing)の研究・実装
・安全性/ポリシー準拠の検証フレームワーク構築
・ハルシネーション検出・校正手法の研究・実装
・プロンプト/ツール回帰テストの設計・実行
▽統計分析・実験設計
・統計的実験計画(A/Bテスト、有意差検定)の設計・分析
・品質トレンドの可視化・回帰検出の自動化
・品質レポート作成と改善提案
・評価シグナルの研究・開発チームへのフィードバック
求められるスキルは: 必須 ■必須条件
・コンピュータサイエンス、ソフトウェア工学、人工知能、機械学習、数学、物理、計量心理学などの関連分野における修士号以上、または同等の実務経験
・MLエンジニア/DS/リサーチエンジニア/ML評価関連職種の実務経験3年以上
・LLM/生成AIの評価手法に関する深い知識
・統計学・実験計画法の実践的知識
・PythonでのML/評価パイプライン構築経験
・機械学習フレームワーク（PyTorch,JAX,TensorFlow等）の実務経験
・評価メトリクスの設計・実装経験
・言語レベル：いずれか必須
・日本語：Fluent(プロダクト開発において齟齬なく議論を行えるレベル)
・英語：ビジネスレベル
・本ポジションはAI出力の評価科学(Evaluation Science)を担う研究開発職です。MLモデル評価・LLM評価における研究または実装経験を必須としています。

■歓迎条件
・ML/NLPトップカンファレンス（NeurIPS,ICML,ICLR,ACL,EMNLP等）での論文発表経験
・報酬モデリング/preference learning（RLHF,DPO等）の研究・実装経験
・LLM-as-Judgeの校正・rubric設計の経験
・AI安全性・Responsible AI・レッドチーミングに関する知識・経験
・ベンチマーク設計・妥当性検証（IRT,construct validity）の経験
・マルチエージェント・ワークフロー/ツール利用/ロングコンテキストの評価経験
・大規模データ処理（Spark/BigQuery等）の経験
・CI/CDパイプラインへのML/評価パイプライン組込み経験
・論文読解・再現実装の能力
・英語での技術コミュニケーション能力
雇用形態は: 正社員
どこで働くか: 東京都
勤務時間は: 10:00?19:00
※土日祝は休業日となります
※出向の場合は、出向先の規程に準じます
給与はどのくらい貰えるか: 年収 8,000,000 円 - 16,000,000円
月給：\571,429?1,142,857
基本給：\410,915?\821,830
固定残業手当 (45時間分) : \160,514?\321,027
SO付与制度あり

※45時間を超える時間外手当は別途支給
※昇給機会年2回（4月、10月）、賞与年2回（5月、11月）
※給与は経験・能力・前職経験によりご相談に応じます。
待遇・福利厚生は: 【待遇・福利厚生】
・書籍購入補助（半期 30,000円まで）
・リフレッシュ手当（毎月 5,000円まで）
・部活動手当（毎月5,000円まで）
・家賃手当（当社指定の駅を対象とし毎月30,000円まで）
・シャッフルランチ/ディナー（四半期に一度ランチ1,000円まで、ディナー5,000円まで）
・資格取得支援制度、英語学習支援制度（業務に必要な場合のみ）
・リフレッシュ休暇制度（3年間継続勤務した社員へ毎年付与される特別休暇 2日）
・定期健康診断（年1回）
・従業員持株会

【保険】
・社会保険完備

【諸手当】
・交通費全額支給
休日休暇は: 完全週休二日制
所定休日：土・日・祝日
休暇：年次有給休暇、夏季休暇（3日）、年末年始休暇（12月31日?1月3日）、慶弔休暇
どんな選考プロセスか: 書類選考 → コーディングテスト → 面接（4?5回）→ 内定
※最終面接までにリファレンスチェックをご対応いただきます

AI Evaluation Scientist / Japanese

その他、技術系（IT・Web・通信系）