Data Engineer / データエンジニア

Job Description

About the Organization/Team・組織/チームについて

The assigned organization is primarily advancing projects related to a next-generation digital financial platform. Our team takes the lead in designing, building, and operating modern data engineering infrastructure from scratch to enable data-driven innovation across the group.

※ After joining the company, you are expected to be seconded to PayPay Bank as a member of the above project.

配属先組織は、次世代型のデジタル金融プラットフォームに関わるデータ基盤プロジェクトをメインに進めています。
グループ全体のデータ活用を加速させるため、モダンなデータ技術を用いた信頼性・拡張性の高いデータエンジニアリング基盤の設計・構築・運用を1からリードする組織です。

【Engineering for New Bank Project】Recruiting Factbook

※入社後に上記プロジェクトメンバーとしてPayPay銀行への出向を予定しています。

Background of Recruitment・募集の背景

As the business continues to grow rapidly, the importance of data utilization across both PayPay Bank and the broader PayPay Group is increasing. To support product enhancements, marketing initiatives, and fraud detection, establishing a robust data engineering foundation that delivers high reliability, security, and scalability is an urgent task.

事業の急激な成長に伴い、PayPay銀行およびPayPayグループにおけるデータ活用の重要性はますます高まっています。プロダクト改善、マーケティング、不正検知などの各種施策を高度化させるため、高い信頼性・セキュリティ・拡張性を兼ね備えたデータエンジニアリング基盤の体制強化が急務とされています。

Job Responsibilities・具体的な業務内容

• Design, develop, and operate robust and scalable data ingestion pipelines using technologies such as Databricks, AWS DMS, and Terraform
• Develop large-scale data processing workflows using Spark, Python, and SQL
• Design and build data integration platforms that connect banking services, payment systems, internal business applications, and external data sources
• Optimize data pipelines by combining Change Data Capture (CDC), streaming, and batch processing architectures
• Build and maintain data lakehouse and data catalog platforms leveraging Databricks Lakehouse and Unity Catalog
• Design and operate data governance capabilities, including data quality management, metadata management, data lineage, access control, and audit logging
• Improve performance, optimize costs, and enhance reliability for large-scale data processing environments
• Implement SRE and observability practices for data platforms, including monitoring, alerting, dashboards, and incident response
• Build, automate, and standardize data infrastructure using Infrastructure as Code (IaC) technologies such as Terraform
• Develop and maintain shared frameworks, tools, templates, and CI/CD pipelines to improve the efficiency and consistency of data engineering operations
• Partner with product, analytics, risk management, security, compliance teams, and other PayPay Group companies to drive data utilization and business value
• Operate and enhance data platforms in compliance with the security, privacy, regulatory, and internal control requirements expected of a financial institution
  
  
• Databricks、AWS DMS、Terraformなどを活用した、堅牢でスケーラブルなデータ取り込みパイプラインの設計・開発・運用
• Spark / Python / SQLを用いた大規模データ処理ワークフローの開発
• 銀行サービス、決済連携、業務システム、外部データソースなどからのデータ連携基盤の設計・構築
• Change Data Capture、ストリーミング処理、バッチ処理を組み合わせたデータパイプラインの最適化
• Databricks Lakehouse、Unity Catalogなどを活用したデータレイクハウスおよびデータカタログの整備
• データ品質、メタデータ管理、データリネージ、アクセス制御、監査ログなど、データガバナンス機能の設計・運用
• 大規模データ処理におけるパフォーマンスチューニング、コスト最適化、信頼性向上
• モニタリング、アラート、ダッシュボード、インシデント対応など、データ基盤におけるSRE / Observabilityの実践
• TerraformなどのIaCを用いたデータ基盤インフラの構築・自動化・標準化
• データエンジニアリング業務を効率化するための共通フレームワーク、ツール、テンプレート、CI/CDパイプラインの整備
• プロダクト、アナリティクス、リスク管理、セキュリティ、コンプライアンス、PayPayグループ各社との連携によるデータ活用推進
• 金融機関として求められるセキュリティ、個人情報保護、規制対応、内部統制を踏まえたデータ基盤運用

Tech Stack

• Cloud: AWS
• Data Platform: Databricks, Snowflake, Delta Lake, Data Lakehouse
• Processing: Apache Spark, Scala, Python, SQL
• Orchestration: Airflow, Dagster, Prefect
• Streaming / Ingestion: Kafka, CDC tools
• Infrastructure: Terraform, GitOps, CI/CD
• Governance: Unity Catalog, AWS Lake Formation, Data Catalog, Metadata Management
• Observability: Prometheus, Grafana, CloudWatch, Datadog
• Collaboration: GitHub, Jira, Confluence, Slack など

※実際の利用技術は、配属チームやプロジェクトにより異なる場合があります。

Attractiveness of This Position・本ポジションの魅力

• At PayPay Bank, Data Engineers do far more than simply collect and process data. This role is about building the data foundation that powers the next generation of digital financial services by combining the reliability and trust required of a bank with the speed, scale, and user reach of the PayPay Group.
• You will have the opportunity to drive data-enabled innovation that directly supports product development and business growth, while meeting the stringent security, governance, compliance, and auditability requirements expected of a financial institution. Leveraging modern data technologies such as Databricks and Lakehouse architectures, you will help establish a scalable and trusted data platform that enables the organization to make better decisions and deliver better customer experiences.
• PayPay Bank’s strengths lie in its ability to develop products in-house from concept through implementation, its marketing capabilities that deliver value to tens of millions of users, and its robust financial and corporate foundations that maintain the trust expected of critical social infrastructure. As a Data Engineer, you will play a key role in supporting these strengths across the organization and contribute to the challenge of redefining what a bank can be in the digital era.
  
  
• PayPay銀行のデータエンジニアは、単にデータを蓄積・加工する役割ではありません。銀行としての高い信頼性と、PayPayグループのスピード感・ユーザー基盤を掛け合わせ、次世代のデジタル金融を支えるデータ基盤そのものをつくるポジションです。
• 金融機関として求められる厳格なセキュリティ、ガバナンス、監査性を満たしながら、DatabricksやLakehouseアーキテクチャなどのモダンなデータ技術を活用し、プロダクト開発や事業成長に直結するデータ活用を推進できます。
• また、企画から開発までを内製化するプロダクト開発力、数千万人規模のユーザーに価値を届けるマーケティング力、社会インフラとしての信頼を守る金融・コーポレート基盤を強みとして掲げています。データエンジニアとして、これらの強みを横断的に支え、銀行を再定義する挑戦に関わることができます。

Required Experience/Skills・必要な経験/スキル

• 4+ years of professional experience as a Data Engineer, Data Platform Engineer, or in a related role
• Hands-on experience designing, building, and operating data lakes, data warehouses, or data lakehouse platforms
• Experience processing large-scale datasets using one or more of the following technologies: Databricks, Delta Lake, or Apache Spark
• Strong development experience using Python, PySpark, SQL, or related technologies
• Experience with workflow orchestration tools such as Airflow, Dagster, or Prefect
• Experience developing and operating cloud-based systems on AWS
• Experience building and managing infrastructure using Infrastructure as Code (IaC) tools such as Terraform
• Proven experience designing and improving large-scale data pipelines with a focus on performance, reliability, availability, and operational excellence
• Business-level Japanese proficiency (native-level or equivalent to JLPT N1/N2)
  
  
• データエンジニア、データ基盤エンジニア、または類似職種での実務経験4年以上
• データレイク、データウェアハウス、またはデータレイクハウスの設計・構築・運用経験
• Databricks、Delta Lake、Apache Sparkのいずれかを用いた大規模データ処理経験
• Python、PySparkなどのプログラミング言語、およびSQLを用いた開発経験
• Airflow、Dagster、Prefectなどのワークフローオーケストレーションツールの利用経験
• AWSを用いたクラウド環境での開発・運用経験
• TerraformなどのInfrastructure as Codeを用いたインフラ構築・運用経験
• 大規模データパイプラインの性能、信頼性、可用性、運用性を考慮した設計・改善経験
• 日本語での業務遂行が可能な方（母国語、または日本語能力試験N1／N2相当）

Desired Experience/Skills・あると望ましい経験/スキル

• Experience building and operating data platforms within financial domains such as banking, fintech, payments, credit, securities, or insurance
• Experience with event-driven data architectures and streaming data processing using technologies such as Kafka
• Experience with Change Data Capture (CDC) tools such as Canal, Debezium, or Maxwell
• Experience with data cataloging, access management, and metadata management solutions such as Unity Catalog or AWS Lake Formation
• Experience improving monitoring and observability using tools such as Prometheus, Grafana, Datadog, or Amazon CloudWatch
• Experience designing, building, and operating CI/CD pipelines using tools such as GitHub Actions or Jenkins
• Experience operating cloud-native platforms using Kubernetes, Amazon EKS, Argo CD, or related technologies
• Experience with data quality management, data lineage, data contracts, and master data management (MDM)
• Experience designing access controls, encryption, data masking, and audit logging for systems handling personal data, sensitive information, or financial transaction data
• Experience establishing data engineering standards, development guidelines, shared libraries, and engineering best practices
• Experience leading engineering teams, driving technology selection, conducting architecture reviews, and mentoring engineers
• Business-level English communication skills
• Proven experience integrating AI-assisted development practices into system design, software development, and delivery processes
• Contributions to AI-related open-source projects and/or experience building workflow automation solutions powered by AI technologies
  
  
• 金融機関、FinTech、決済、クレジット、証券、保険など、金融ドメインでのデータ基盤開発経験
• Kafkaなどを用いたイベント駆動型データ連携、ストリーミング処理の経験
• Canal、Debezium、MaxwellなどのCDCツールの利用経験
• Unity Catalog、AWS Lake Formationなどを用いたデータカタログ / 権限管理 / メタデータ管理の経験
• Prometheus、Grafana、Datadog、CloudWatchなどを用いた監視・可観測性向上の経験
• GitHub Actions、Jenkinsなどを用いたCI/CDパイプラインの構築・運用経験
• Kubernetes、EKS、ArgoCDなどを用いたプラットフォーム運用経験
• データ品質管理、データリネージ、データコントラクト、マスターデータ管理に関する経験
• 個人情報、機微情報、金融取引データなどを扱うシステムにおけるアクセス制御、暗号化、マスキング、監査ログ設計の経験
• データエンジニアリング標準、開発ガイドライン、共通ライブラリなどの整備経験
• チームリード、技術選定、アーキテクチャレビュー、メンタリングの経験
• 英語（ビジネスレベルでの会話が可能なレベル）
• AI支援開発をシステム設計およびデリバリーに統合した実績
• AI関連のオープンソースプロジェクトへの貢献、またはAIを活用したワークフロー自動化の経験があれば尚可

Desired Candidate Profile・求める人物像

• You are passionate about building user-first financial services and share our commitment to creating better financial experiences for customers
• You view data platforms as products and are motivated to improve the productivity and experience of their users, including data engineers, analysts, business teams, and product teams
• You can balance the reliability, resilience, and trust required of a financial institution with the speed and agility expected of a fintech company
• You think beyond immediate tasks and are able to design architectures and operational models that scale sustainably over the long term
• You are comfortable tackling complex challenges, forming hypotheses, driving initiatives independently, and collaborating with stakeholders to achieve outcomes
• You see security, governance, and compliance not as constraints, but as essential foundations for enabling trusted and effective data utilization
• You are committed to continuous learning, actively explore new technologies, and enjoy sharing knowledge and best practices with your team and the broader organization
  
  
• ユーザーファーストな金融サービスの実現に共感できる方
• データ基盤をプロダクトとして捉え、利用者であるデータエンジニア、アナリスト、事業部門、プロダクトチームの生産性向上に向き合える方
• 金融機関としての信頼性・堅牢性と、FinTech企業としてのスピード感を両立できる方
• 目の前のチケット対応だけでなく、長期的に拡張可能なアーキテクチャや運用設計を考えられる方
• 複雑な課題に対して、自ら仮説を立て、周囲を巻き込みながら解決に向かえる方
• セキュリティ、ガバナンス、コンプライアンスを制約ではなく、より良いデータ活用を実現するための前提として捉えられる方
• 新しい技術を学び続け、チームや組織へ還元できる方

PayPay 5 senses

• Please refer PayPay 5 senses to learn what we value at work

Working Conditions 

Employment Status

• Full Time

Office Location

• Hybrid Workstyle
  ※ You will be expected to work in the office, in alignment with organizational guidelines and team objectives.
• LIFE in JAPAN FACTBOOK

Work Hours

• Super Flex Time (No Core Time)
• In principle, 9:00am-5:45pm + 1h break (actual working hours: 7h45m + 1h break)

Holidays

• Every Sat/Sun/National holidays (In Japan)/New Year's break/Company-designated Special days

Paid leave

• Annual leave (up to 14 days in the first year, granted proportionally according to the month of employment. Can be used from the date of hire)
• Personal leave (5 days each year, granted proportionally according to the month of employment）
  ＊PayPay's own special paid leave system, which can be used to attend to illnesses, injuries, hospital visits, etc., of the employee, family members, pets, etc.

Salary

• Annual salary paid in 12 installments (monthly)
• Based on skills, experience, and abilities
• Reviewed once a year
• Late overtime allowance
  
  ※Payroll payment can be changed to digital salary payment “PayPay Paycheck” for an amount set by you

Benefits

• Social Insurance (health insurance, employee pension, employment insurance and compensation insurance)
• 401K
• Translation/Interpretation support
• VISA sponsor + Relocation support

待遇・条件

雇用形態

• 正社員

勤務地

• Hybrid Workstyle
  ※所属組織のルールおよび業務指示に応じて出社対応頂きます。

勤務時間

• スーパーフレックス制（コアタイム無し）
• 原則：午前9時～午後5時45分（実働7時間45分＋休憩時間 1時間）

休日

• 土日祝日、年末年始および会社指定日

休暇（法定休暇および会社福利厚生）

• 年次有給休暇(初年度14日間、入社月に応じて按分付与。入社日から使用可）
• パーソナル休暇（毎年度５日間付与/初年度入社月により3日間もしくは5日間付与）
  ※PayPay独自の特別有給休暇制度で、本人/家族/ペットなどの病気/ケガ/通院付き添い等にご使用頂けます。

給与

• 年俸制（一部固定残業代含む）
• 経験、スキル、業績、貢献度に応じ当社規定により決定
• 毎年1回見直し
• 時間外勤務手当、深夜勤務手当有
  
  ※給与支給について、一部をPayPayアカウントで受け取ることが可能です（給与デジタル支払いに対応）

ベネフィット

• 社会保険（健康保険、厚生年金、雇用保険、労災保険）
• 企業型確定拠出年金制度
• 語学学習のサポート