データ利用のニーズ増加に伴いデータ戦略チームやマーケティングチームなどが利用するデータ分析サービスのデータ基盤構築を行います。
・基幹DB(Oracle)や配信サーバのログをGCPへデータ転送の基盤改修と運用(Treasure Dataへの転送)
・BQ上でのDWH(データウェアハウス)やDM(データマート)の基盤構築、改修、運用
・BIツール開発、管理、運用(ビジネス側と積極的にかかわっていただきます。)
・既存BIとデータ基盤(Treasure DataからGCPへ)の移行
・データ保持に関するガバナンスとそのセキュリティ保持対応
5名のデータ基盤チームのエンジニアと3名のデータサイエンティストのチームで仕事をしています。
データ基盤チームの目標は、データの民主化を目指してより良いデータ利用環境を作っていくことです。そのため、技術と同じくらいコミュニケーションを大切にしています。
開発手法は、アジャイルかつスクラムを採用しています。基本的なスクラムイベントを通じ、業務の共有を行っていきます。
また、GCPの活用の観点から他部署を交えた勉強会も積極的に行っています。
言語:Java、Go、Python、TypeScript
ミドル:Digdag、Embulk、Fluentd、Elasticsearch+Kibana、Treasure Data
インフラ:GCP(Dataflow、BigQuery、GAE、Cloud Functions、Cloud Runなど)
その他:Git、Confluence、JIRA、Microsoft Teams、Slack