どんな仕事か: ■概要

・社内に蓄積された非構造化データ（テキスト、ログ、画像、音声など）を収集・分析し、構造化プロセスを経て、生成AIやRAGシステム、AIエージェントに適用可能な形に変換する役割を担います。

・最先端のAI技術を持ちいて自社データの価値を最大化し、業務の効率化や新価値創出に寄与するポジションです。

・他部署との連携（データサイエンス、システム開発、業務部門等）を通して、データの価値最大化を目指します。

■具体的な例

## 非構造化データの解析と前処理

　・テキスト、画像、音声等の非構造化データの抽出、クレンジング、正規化、メタデータの付与

　・NLPや画像解析、音声解析の技術を活用し、データの意味抽出や分類、タグ付けを実施

　・検索精度を向上させるための、ドキュメントパース／チャンキング処理を実施

## データ連携の設計

　・RAG（Retrieval-Augmented Generation）システム、AIエージェントシステムとデータを連携するためのインタフェース設計

　・自然言語UIによる対話的クエリ実行処理の検討

## RAG（Retrieval-Augmented Generation）システムにおける検索処理最適化

　・構造化データと非構造化データのハイブリッド利用による情報検索基盤の開発・導入検討

　・ベクトルDBやグラフDB活用による検索のためのデータ構造及びインデキシングの最適化

　・マルチモーダルデータ基盤の導入企画

■働き方特徴(出張頻度や勤務形態など)

変更なし

■利用技術

・プログラミング言語：Python、SQL等

・データ処理・分析：Pandas、NumPy、Spark等

・自然言語処理（NLP）：BART， Transformers， mecab等

・機械学習/ディープラーニングフレームワーク：TensorFlow、PyTorch、scikit-learn

・データベース：リレーショナルDB（PostgreSQL， MySQL）、NoSQL（MongoDBなど）、ベクトルDB（Elasticsearchなど）、グラフDB (Neptune， neo4j)

・生成AI関連：OpenAI API、GPT、BERT
求められるスキルは: 必須求める要件[MUST]

・Python、SQLを用いたデータ処理スクリプト、パイプラインの開発経験

・非構造化データ（テキスト、画像、音声など）の処理手法の理解と実装経験

・セマンティック検索、類似度検索等に対する基本的な知識

・ベクトルデータベースとグラフデータベースを含む多様なデータストアに関する理解

・RAGシステムや生成AI（大規模言語モデル）の基礎知識

求める要件[WANT]

# RAG技術への知見

・RAGシステムの精度向上のために必要な技術理解（Pre-Retrieval， Post-Retrieval， Query Expansion， Chunking Strategy）

#クラウド・インフラ経験

・AWS、Azureなどのクラウドサービス上でのデータパイプライン構築経験

・Docker、Kubernetes等によるコンテナ化、オーケストレーション経験

#プロジェクト管理・アジャイル開発

・ScrumやKanbanなどのアジャイル手法を用いたプロジェクト進行経験

・DevOpsの実践やCI/CDパイプライン構築経験

#分析技術

・NLP、画像に対するAI/機械学習を用いた分析経験
雇用形態は: 正社員
どこで働くか: 神奈川県
給与はどのくらい貰えるか: 400～900万円

【神奈川】AIデータインテグレーションエンジニア

機械学習エンジニア