- どんな仕事か
-
【現状の課題】
事業拡大と共にユーザーが拡大していく中、真に求める情報を届けるために以下のような課題に向き合っています。
■効率的に情報拡充するためのデータパイプラインの開発、改善
■Web上のニュース、論文、特許、社内文書などを安定的に収集・拡充していくための監視基盤の構築
■ユーザーの行動を元に情報を完全自動で拡張する仕組みの構築
【業務内容】
全プロダクト共通のデータ配信システムに位置する、Webクローラーと文書配信パイプライン
の設計、開発、運用を行なっていただきます。
データプラットフォームチームをリードし生産性の最大化を行うことも期待しています。
▽具体的な業務内容
■TypeScript/Rust/Pythonを用いたWebニュース・特許・論文などを配信するデータプラットフォームの開発と運用
■大規模言語モデル(LLM)の学習に必要となる日本語データセットの作成
■顧客の社内文献を解析/配信するための解析ロジック及びデータパイプラインの新規構築と運用
■FaaS/CaaSによる分散処理のスケーラビリティ向上と監視設計
【ポジションの魅力】
■数億件規模の文書データのサーバーレス分散処理に携わることができる
■数万サイトを対象としたWebクローラーの開発に携わることで、Webフロント・バックエンド両方の知見を活かしつつ、不安定なシステムの監視・運用設計のノウハウを取得できる
■PdMやCustomer Successチームとコミュニケーションしながら新規開発や改善策を自身で提案・開発することで、事業へのコミットを経験できる - 求められるスキルは
-
必須 【必須経験・スキル】※すべて必須
■エンジニア経験5年以上
■要件定義から設計~実装~運用に至るまでを一気通貫での経験
■サーバーレスを用いたフルスタックな開発/運用及びそのリード経験(Lambda, ECS, Fargate, Step Functions, Cloud Functions, Cloud Runなど)
【歓迎経験・スキル】
■コンピュータサイエンスに関連する技術分野の修士号または博士号
■チーム開発をリードした経験
■顧客向け自社開発サービスの開発、運用経験
■文書検索や文書推薦を行うサービスの開発、運用経験
■サーバーレスに対する幅広い知見と業務経験
■Terraformを用いた開発/運用経験
■データパイプライン・ETLの構築やワークフローエンジン、分散処理フレームワークを用いた開発/運用経験(Hadoop、Sparkなど) - 雇用形態は
- 正社員
- どこで働くか
- 東京都
- 給与はどのくらい貰えるか
- 579~879万円
掲載期間24/11/15~24/11/28
求人No.MYN-10374956