1. Overview (项目背景)

本项目为了将Databricks作为数据平台的中心Lakehouse而推进。
将原本基于BigQuery运营的数据转换为Databricks Catalog，并基于此创建mart表以提升分析环境是主要目的。

在BI应用方面，我们希望将现有的Redash和Tableau仪表板转换为Databricks Dashboard，在一个平台上统一运营数据分析和可视化。

2. Solution (解决方案)

本PoC进行了3周，将基于BigQuery运营的Redash和Tableau仪表板迁移到Databricks，构建了新的BI环境。

首先检查了现有数据结构和访问权限，分析了Redash·Tableau的组成要素和查询现状。随后建立了RDS → S3 → Databricks的数据加载指南，并按查询单位重新构成了Tableau仪表板。

在Redash环境中分析并执行了BigQuery SQL到Databricks SQL的转换过程，并基于此分别实现了对应于Redash和Tableau仪表板的Databricks Dashboard。
还与AS-IS快照进行了比较，进行了Databricks BI环境的功能验证和响应速度测试。

另外还进行了Databricks Genie的集成测试，在BigQuery SQL转换为Databricks SQL的过程中利用了针对Apache Spark优化的Photon查询引擎。
用户可以通过Spark SQL语法创建和查询数据库对象。

在SQL编辑器中利用结果面板UI查看各种结果集并添加可视化，在Redash环境中通过助手功能在编写查询时提供内联帮助和建议。
使用Genie时，通过审查每个问题的答案，必要时通过对话会话学习正确答案的方式验证了可用性。

3. Result (成果)

将BI环境转换为Databricks后，仪表板加载速度得到了全面改进。
基于相同的分析查询，Databricks相比BigQuery连接方式显示了更快的响应速度，在从External Catalog转换为Standard Catalog和Managed Table的过程中，存储和查询结构也得到了优化。结果是即使在大数据环境中也能确保稳定的性能。

此外，通过利用Databricks Genie(AI助手)，没有SQL知识的业务用户也可以基于自然语言查询数据。用户无需直接编写代码就能快速获得高可信度的洞察，这大大降低了数据利用的进入门槛。

原本在Redash和Tableau中运营的仪表板也能相对顺利地迁移到Databricks环境。
SQL转换和可视化映射进行得很顺利，现有用户也能在Databricks中获得相同或更优的分析体验，无需承担过大的学习负担。