- どんな仕事か
-
〈TX-26-22-50-LD（9/11）〉
AIバリューエンジニア（生成AI・AIエージェントの品質・評価）/ 製造業AIの継続改善 #生成AI #AI品質 #評価設計 #MLエンジニア #専門職ポジション
(1)担当業務内容
1．顧客成果に基づくAI品質設計・評価基盤の構築（50%）
AIの回答・提案によって顧客の作業が前進したかを定義・検証し、リリース可否を判断できる評価の仕組みを作ります
- テキスト、商品画像、図面、CAD画面を扱うAIについて、正確さ、根拠の明確さ、タスク完遂率、安全性に加え、選定・見積もり・購買などの顧客成果を測る評価指標と評価データセットを設計
モデル、プロンプト、検索、ルーティングを対象にした自動テスト・人手評価・回帰テストの評価パイプラインを開発
- 実利用ログ、ユーザーフィードバック、A/Bテストを分析し、顧客成果を阻害する要因の特定と優先順位付けを実施
- 精度、顧客成果、応答速度、推論コストのトレードオフを可視化し、リリース基準と改善目標を事業・開発チームと合意
2．AIプロダクトの価値検証・継続改善（30%）
AIが顧客の設計・選定・見積もり・購買をどこまで前進させたかを測定し、改善を主導します。
- ECサイトおよびものづくり支援サービスで、ユースケース別の顧客成果指標、検証計画、実験設計を作成
- AIアーキテクト、プロダクトマネージャー、ドメイン専門家と連携し、品質課題をモデル・データ・検索・体験設計の改善施策へ変換
- PoCから本番運用まで、品質モニタリング、異常検知、顧客成果と事業KPIへの改善効果の測定を推進
3. モデル・評価手法の研究開発と標準化（20%）
- LLM、SLM、マルチモーダルAIの評価・最適化手法を調査・検証し、製造業のユースケースへ適用
- 評価結果、既知の制約、利用条件を文書化し、チームの品質基準・レビュー手法として定着
- 論文読解、社内勉強会、技術発信を通じたチームのAI品質向上
(2)仕事のやりがい（面白さ）
AIの回答品質を測る物差しから作り、改善の優先順位とリリース可否を自ら判断できます。
あなたが設計した評価ループが、日本・韓国・台湾から欧州までの顧客の部品選定体験と事業K - 求められるスキルは
-
必須 【必須】
- Pythonを用いたAI/機械学習プロダクト、データ分析、またはモデル評価の実務経験（3年以上）
- 関係者と品質目標や改善の優先順位を合意し、施策の実行を推進した経験
- 以下のいずれかで、課題設定から検証・改善までを主導した経験
・評価指標や評価データセットを設計し、複数のモデル・アルゴリズム・施策を比較して改善した経験
・A/Bテスト、ユーザー調査、利用ログ分析のいずれかを用いて、顧客の行動・タスク完遂・事業成果を改善した経験
【歓迎】
- LLM・生成AIプロダクトの評価基盤、品質監視、またはLLMOpsの構築・運用経験
- SLM・ローカルLLMの開発・評価、事後学習（SFT／DPO）、蒸留のいずれかの経験
- マルチモーダルAI、OCR、図面・CAD理解、意図分類・ルーティング、検索拡張生成のいずれかの開発・評価経験
- 検索、推薦、広告配信、需要予測など、データを用いたプロダクトの評価・改善経験
- 定性評価を定量指標へ落とし込み、開発チームや事業部と品質目標を合意した経験
- MLOps／LLMOps（実験管理・評価・モデルデプロイ・監視）に関する知識
- 統計的な実験設計、データ分析、可視化に関する知識
- 英語力（論文・技術ドキュメント読解レベル）
【求める人物像】
- AIの「精度が高い」を鵜呑みにせず、オフライン評価が良くても顧客が目的を達成できなければ改善対象と捉えられる方
- モデル、データ、プロダクト、事業指標を横断して原因を考え、関係者と改善の優先順位を合意できる方
- 不確実な新規領域で、実利用の観察から課題を見つけ、検証と実装を自ら前に進められる方 - 雇用形態は
- 正社員
- どこで働くか
- 東京都
- 給与はどのくらい貰えるか
- 800～1300万円
NEW
掲載期間26/10/15～26/10/28
求人No.MYN-10773618
