- どんな仕事か
-
データプラットフォームエンジニア/データグループサービス開発のための、大規模データ向け分散システム（Hadoop、Kafka、Flink、Trino、Druidなど）として提供する?Data Platform の開発を担当
■業務詳細
日々大量のデータが発生し、大量のデータがData Platformに蓄積されています。トータルでは数百PB以上のデータを蓄積・処理し、データ利活用に役立てています。この膨大なデータを安定して収集・蓄積・処理するために、専用のデータセンターを活用し、数千台のサーバーを用いて分散システム基盤を構築・運用しています。
代表的なものとして以下のような技術スタックを活用しています：
分散処理フレームワーク: Hadoop
分散メッセージングシステム: Kafka
分散ストリーム処理システム: Flink
分散SQLエンジン: Trino
分散データストア: Druid
これらの技術を駆使して、ビッグデータを安全かつ効率的に活用するためのインフラを提供しています。
また、データサイエンティストが簡単にAI活用できることを目指して、機械学習プラットフォーム（AIプラットフォーム）も独自で構築し提供しています。
■主な業務内容
データ収集と統合: 異なるデータソースからのデータを効率的に収集し、統合するためのETLパイプラインの設計・実装。
リアルタイムデータ処理: KafkaやFlinkを用いたリアルタイムデータ処理の最適化と運用。
スケーラビリティとパフォーマンス: ネットワークの設計やハードウェアの選定など専門チームと協業しながらスケーラブルなインフラの設計・実装、パフォーマンスの最適化。
データ品質とガバナンス: データの一貫性、正確性、完全性を確保するためのツールやプロセスの導入。
データセキュリティとプライバシー: データの暗号化、アクセス制御、コンプライアンス対応。
AI/MLの統合と運用: 機械学習プラットフォームの構築・運用、MLOpsの導入。 - 求められるスキルは
-
必須 ・分散システムを利用したデータ基盤の構築、運用の経験(1年以上)
・Python・Java・Goいずれかのプログラミング業務経験(1年以上)
・Kubernetes、Dockerを使ったミドルウェアやサービスの開発と運用の経験
歓迎 100台規模以上の分散システムにおけるソフトウェア エンジニアリングまたはシステム エンジニアリングの経験
Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどを利用したアプリケーションの開発・運用の経験
Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどエコシステムの運用保守設計、及び運用改善経験
Kubern
求める人物像
・正解のない問題解決を楽しみ、スピード感を持って品質高く解決に導ける方
・複数のステークホルダーの要求のなかで課題の優先順位をつけながら解決できる方
・結果にこだわり最後までやり抜く力がある方
- 雇用形態は
- 正社員
- どこで働くか
- 東京都
- 勤務時間は
- フレックスタイム制（標準労働時間7時間45分 ※コアタイムなし）
始業および終業の時刻は個人に委ねます。 但し、標準時間として始業時刻は9:30、終業時刻は18:15となります。
※部署により通常勤務（9:30～18:15）、シフト勤務あり。 - 給与はどのくらい貰えるか
-
応相談
給与形態：月給制
昇給：有（年2回）
賞与：有（年2回）
諸手当
時間外手当、通勤手当 ※1、LINEヤフー Working Style手当※2、など
※1所属オフィスへの通勤交通費は、出社分を実費支給（上限15万円/月）しており、新幹線・飛行機の利用も可能です。オフィスに出社した日数に応じ実費を翌月に支給します。
※2リモートワークにおいて働く環境を整備するための手当。月額11,000円 - 待遇・福利厚生は
-
選択型確定拠出年金制度、総合福祉団体定期保険、長期所得補償制度、財形貯蓄制度、株式累積投資制度、定期健康診断・人間ドック二次検査の費用補助、LINEヤフー Working Style手当、社内マッサージ室、サークル、懇親会費補助など
健康保険、厚生年金、雇用保険、労災保険 - 休日休暇は
- 週休2日、祝日、年末年始、有休、特別有給休暇（慶弔、マタニティー、子の看護、介護、ボランティア等、土曜日祝日振替特別休日 等
掲載期間25/04/08～25/04/21
求人No.INGT-172721
