- どんな仕事か
-
現在、いくつかのデータ基盤が存在しており、それぞれが個々に運用されている状態です。このような状態のため、横断的なデータ活用への障壁になっている状態です。
これらを1カ所のデータ基盤に統合することで、データガバナンスの向上やデータマネジメントの効率化を行っていきたいと考えています。
まずは、いくつかあるデータ基盤のうち、オンプレミスで稼働中のデータ基盤を対象に、Snowflakeとdbtを使ったクラウドデータウェアハウスに作り替えることを内製で構築検証をしています。このようなSnowflakeとdbtを用いたデータ基盤へ作り替える開発業務に携わっていただきます。
また、今後は以下のようなことも構想しています。
・他のデータ基盤とのデータ統合を進める
・現状のデータ基盤に関する定常作業を削減・低減できるような方法に刷新し、運用負荷を減らす(自動化やCI/CD/IaC化など)
・dbtやOpenMetadataなどを用いたデータカタログの充実化
・Python等を用いてデータ基盤のデータを観察・分析することで、
システム部門発信でのデータ利活用やデータシステムを当社のビジネスサイドへ提案・提供する
・その他、データ利活用が促進できるような様々な施策
上記のように新しく拡大していくような業務もありますが、それ以外にデータ基盤の定常運用作業もあります。このような定常運用業務をいかに自動化などの工夫をしながら効率化し、クリエイティブな仕事の比率を上げていけるかという点にも重点を置いています。
■プログラミング言語・開発環境
・Python
・SQL(dbt & Snowflake)
・Git/Github
・Terraform
・Docker
・AWS (今後の状況により、EC2/S3/MWAA/Fargate/Batch/App Runner/ECSなどを利用する可能性が高いです) - 求められるスキルは
-
必須 ■SQLを利用した実務経験2年以上
■Python経験1年以上(自学含む)もしくは何らかのプログラミング言語経験3年以上
■Gitを利用したシステム開発経験(自学含む。チームによる複数メンバーでの並行開発経験であれば尚良し)
■AWS/GCP/Azureなどのクラウドを利用したシステム開発の経験
■プログラミング、クラウド、データ分析・利活用への強い興味・関心
歓迎 ■SnowflakeもしくはBigQueryの利用経験
■dbtを利用したデータパイプライン構築・運用経験
■統計、数理最適化、機械学習などの数学を利用したシステム開発経験
■データベース・SQLのパフォーマンスチューニング、プログラムの高速化経験
■KVS等のNoSQLデータストアの利用経験
■データベースやデータストアの製品選定やアーキテクチャ設計の経験 - 雇用形態は
- 正社員
- どこで働くか
- 東京都
- 給与はどのくらい貰えるか
- 450-700万円
掲載期間25/02/13~25/02/26
求人No.JBKG-JKK-116-1