1. Overview (项目背景)

本项目旨在构建基于云的数据分析环境，
建立能够进行大规模数据处理和机器学习·AI应用的分析平台。

将分散在本地环境中的Data Lake数据根据分析目的迁移到云端，
提高数据收集·加工·管理的整体效率，提供更灵活的分析环境。

同时，重点构建了一套体系，使数据分析专家能够自主探索·分析·应用数据，
同时确保用户主导的分析环境以及数据使用的控制和可用性。

2. Solution (解决方案)

以基于云的分析平台为中心，分阶段推进数据集成和分析能力内部化。

• Cloud基础分析平台的构建和运营

• 建立标准化的数据集成·管理环境

• 数据应用和分析的云能力内部化

3. Result (成果)

获得具有可扩展性和稳定性的分析基础设施

• 构建具有高耐久性和可用性的云基础设施

• 通过应用Intelligent Tiering优化存储成本

• 支持多种数据收集方式，可利用广泛的分析工具

针对分析目的优化的数据应用环境

• 基于Databricks的DW构建

• 通过DP360网络门户进行数据访问控制和权限管理

• 提供分析师级别的分析环境和便捷的系统管理

• 提高添加必要数据和管理的便利性

通过技术内部化强化数据驱动的业务能力

• 通过Databricks和AWS培训提升分析能力

• 通过掌握最新分析技术改进业务效率

• 为持续提升数据分析能力奠定基础

实现性能与成本的平衡

• 通过存储和计算分离结构实现成本效率

• 通过按使用量计费最小化不必要的成本

• 通过计费解决方案提供持续的成本优化报告

• 利用DP360解决方案阻止不必要的资源使用

预期效果

• 获得同时满足集成·扩展·成本优化的数据平台

• 最小化初期投资成本并优化运营成本

• 构建基于Data Lake的DW分析环境

• 建立基于Databricks Delta Lake的高质量数据管理体系

• 强化数据治理体系

ML Ops自动化和技术内部化

• 构建基于AWS SageMaker的ML Ops自动化环境

• 提供ML Ops管道模板

• 对内部人员进行技术内部化培训