どんな仕事か: 「スタンバイ」のデータエンジニアとして、ビッグデータ解析/分散処理基盤開発をお任せします。 2019年にヤフー株式会社（以下、ヤフー）を傘下に持つZホールディングス株式会社（現：LINEヤフー株式会社）と株式会社ビズリーチ（現：ビジョナル株式会社）との合弁会社として新たなスタートを切り、 LINEヤフー株式会社が持つ様々なグループアセットと連携することも可能になりました。今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、その推進をお願いできればと考えております。

＜具体的な業務例＞

■Databricks 上に構築された社内向けの新データ基盤の開発・運用

■AWS 上に構築された旧データ基盤の運用

■社内各所の要求に応じた dbt によるデータモデリング

■AWSを利？したビッグデータ解析？分散処理基盤のアーキテクチャ選定から設計

■実装、運？フロー？動化の提案、実装

■ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定

■各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど）に応じたデータセットの作成

■機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git，CI/CDの仕組み作りと維持

▽開発環境

クラウドサービス：AWS (S3， Athena， Glue， MWAA， Kinesis， Lambda， etc.)

データ基盤：Databricks， Redash， etc.

データモデリング：dbt

プロビジョニング：Terraform

開発ツール：GitHub， Slack， JIRA
求められるスキルは: 必須【必須経験・スキル】

■pull request ベースでの Python 等のプログラム開発経験（5年以上）

■データ基盤の設計/構築、または運用経験（3年以上）

■SQL によるデータ分析やデータモデリングの経験（3年以上）

■AWS もしくは GCPを利用したサービスの構築経験（3年以上）

■dbtを用いたデータモデルやデータパイプラインの開発経験（1年以上）

【歓迎経験・スキル】

■データ基盤チームのチームリードの経験

■Databricks， Snowflake などのプラットフォーム上に構築されたデータ基盤の開発・運用経験

■Terraform による IaC の経験

■Apache Spark 等の分散処理フレームワークを利用した開発経験

■Apache Airflow などのワークフローオーケストレーションを利用した開発経験

■アジャイル（スクラムベース）での開発経験
雇用形態は: 正社員
どこで働くか: 東京都
給与はどのくらい貰えるか: 400～800万円

データエンジニア

データベースエンジニア