どんな仕事か: 【主な業務内容】

■お任せしたいこと｜AI SaaSの心臓部を支えるデータエンジニア

スマサテのプロダクトの心臓部である「データ基盤」の開発・運用を担うポジションです。

世の中に散らばる膨大かつ雑多な不動産情報を収集し、誰もが使える「綺麗なデータ」へとクレンジング・構造化していくのがメインミッションです。

データサイエンティストの高度な分析や、アプリケーションの高速処理に耐えうる「綺麗で構造化されたデータ」へと継続的に変換・蓄積するため、スケーラブルなデータパイプラインの設計・運用をリードしていただきます。

具体的には....

■データ基盤（DWHやデータレイク等）のアーキテクチャの選定、設計、構築

■Web上からの継続的な不動産データ収集（クローリングやスクレイピング）、クレンジングおよび整形プログラムの実装

■バッチ処理やストリーミング処理のデータパイプラインの構築と最適化

■データ品質の担保、インフラ基盤やパイプラインの監視、パフォーマンスチューニング

■アプリチームやデータサイエンティストとの要件定義、データスキーマのすり合わせ

【開発スタイル】

1)難易度やメンバーのスキルに応じて、タスクをアサイン

2)そのメンバーが主体的に設計・開発・テストまでを行ってプルリクエストまで担当

3)他メンバーがレビュー・動作確認を経てリリース

が基本的な流れになります。

まだ若い会社ですが、次のような文化・スタイルが醸成されてきています。

■品質第一：リリース前に複数人でテスト。バグ発生時は全員で初動対応します。

■高速サイクル：週2，3回アップデートをリリースできる体制を構築。

【開発環境】

■開発言語：Ruby， PHP， Python， JavaScript， Node.js， TypeScript

■フレームワーク：Ruby on Rails， Django， React， Vue.js

■OS：Linux

■DB：MySQL8.x ， BigQuery

■インフラ：AWS， GCP

■テスト: Autify， RSpec， Vitest

■CI/CD: CircleCI

■ソースコード管理：GitHub

■ローカル開発環境：Do
求められるスキルは: 必須【必須スキル】

■Pythonを用いたデータパイプライン（ETL/ELT）またはデータ処理バッチの開発経験（3年以上）

■AWSやGCP等クラウドインフラを利用したデータ基盤（DWH、データレイク等）の構築・運用経験

■SQLを用いた複雑なデータ抽出・集計の実務経験

■RDBMSおよびNoSQLデータベースの設計・運用経験

【歓迎スキル】

■大規模データ（数億～10億レコード超）を扱う処理基盤の最適化経験

■大規模なWebクローラー/スクレイピングシステムの構築・運用経験

■dbt/Airflow等のオーケストレーションツールを用いた開発・運用経験

■BIツール（Tableau、Metabase等）のデータマート構築・運用経験

■Elasticsearch等を用いた検索システムの構築・チューニング経験

■生成AI×データ活用の経験（RAG/LLM連携等）

■マイクロサービス化・データメッシュ設計の経験

■データセキュリティやガバナンスに関する知見

■不動産・金融領域のデータ業務経験

【求める人物像】

■「綺麗なデータ」を作ることに誇りを持ち、細部の品質にこだわれる方

■データサイエンティストやアプリエンジニアと連携し、チームのアウトプットを最大化することに喜びを感じる方

■レガシーなデータを扱う泥臭い作業もいとわず、技術力でスマートに解決できる方

■ユーザーの気持ちを考え誠実に対応できる方

■仕事の期限を意識しつつアジャイルな柔軟性もある方

■TRY&ERRORでくじけない方
雇用形態は: 正社員
どこで働くか: 東京都
給与はどのくらい貰えるか: 800～1500万円

Backend Engineer (Data)

機械学習エンジニア