どんな仕事か: 【部署説明】

カカクコムグループのHRカンパニーは、1，000万ユーザーを抱える求人一括検索サービス「求人ボックス」と、70万社以上が導入する採用支援プラットフォーム「エンゲージ(engage)」という2つの主力サービスを擁しています。両サービスが生み出す膨大な求人・求職者・採用データを横断的に活用し、求職者と企業のマッチング精度を高めることが私たちのミッションです。カカクコム傘下のシナジーを活かしながら、データとテクノロジーの力で採用市場全体の価値を創出しています。

【仕事内容】

HRカンパニーのデータエンジニアとして、「求人ボックス」「エンゲージ」両サービスを対象に、各システム・サービスからデータ分析基盤へのデータ連携（データインジェスト）と、その品質担保、データ分析基盤全体の強化（モダナイズ、リアルタイム化など）を担っていただきます。分析用マートの設計・変換（ELT）はアナリティクスエンジニアが担当し、本ポジションは datalake までの連携パイプラインと、基盤を動かす実行環境・オーケストレーションの構築・運用が中心です。データ連携の設計にはシステム部や企画など関係部署との密な連携が前提となり、ソースや仕様が整理しきれていない状態からのすり合わせ・調整力も求められます。

▼具体的な業務内容▼

・【求人ボックス】各システム・ファイル・ログから、GCS / BigQuery（datalake）までの連携パイプラインの設計・実装・運用（Embulk、ロードジョブ、Dagsterセンサー等）

・【エンゲージ】各システムから AWS 経由で Databricks までの連携パイプラインの設計・実装・運用

・データ連携の遅延・欠落・失敗の監視と障害対応（ジョブ監視、再実行、アラート）

・データ分析基盤の実行基盤・オーケストレーションの運用と強化（GKE、Dagster、CI/CD、Terraform 等）

・新規データソースの追加、既存パイプラインのリプレイス、将来的なリアルタイム化に向けた技術検証

・システム部・企画など関係部署との要件すり合わせ、仕様調整、連携設計の合意形成

【仕事の面白み】

・月間数千万人規模のユーザーが利用するサービスに携わるため、仕事のインパクトが大きく、これまでの経験とスキル
求められるスキルは: 必須【必須】

・AWS、Azure、Google Cloudなどクラウド上でのデータ基盤の設計・開発・運用経験（3年以上）

・各システムからのデータ連携（データインジェスト）、またはデータ転送基盤の設計・実装・運用経験

・SQLを用いたデータ抽出、加工の実務経験

・Pythonなどを用いた開発経験

【歓迎】以下のいずれかに当てはまる方

・Python、Goを用いたソフトウェア開発・運用の経験

・Terraform等によるIaC（Infrastructure as Code）の設計・運用経験

・Embulk等を用いたデータ連携基盤の実装経験

・AWS上のデータ基盤、または Databricks へのデータ連携経験

・分散処理、冗長化、監視、セキュリティに関する基礎知識

・GitHub等を活用したチーム開発の経験

・データ基盤の運用課題や障害に主体的に取り組み、解決した経験

・データ基盤の課題解決に向けた技術選定・導入の経験

・ストリーミング基盤（Pub/Sub等）やリアルタイムデータ処理の経験

・データ品質管理（テスト自動化、モニタリング）の設計・運用経験

・Dagster等のオーケストレーションツールの利用経験

【求める人物像】

・当社のミッション・ビジョンに共感し、信頼性の高いデータ基盤で事業成長を支えたいという意欲をお持ちの方

・論理的思考力、問題解決能力

・立場や職種の異なるメンバーと円滑にコミュニケーションが取れる方

・自主的に課題解決に取り組める方

・大規模データの技術課題にチャレンジしたい方

・変化の激しい環境を楽しめる、柔軟性とチャレンジ精神のある方

・常に新しい情報や技術にアンテナを張り、学習意欲の高い方

【業務環境】

プロジェクト管理：Co
雇用形態は: 正社員
どこで働くか: 東京都
給与はどのくらい貰えるか: 550～990万円

データエンジニア【HRカンパニー】

ITコンサルタント