Back
Key Takeaway
8周内推进4千余件SQL转换的大规模数据转换案例
在复杂的SQL结构和受限的执行环境中,通过基于Python的自动化和优先级策略执行大规模SQL转换工作,明确了转换可能性和今后的优化课题。
Travel & Hospitality (Y Company)
Client :Travel & Hospitality (Y Company)
Industry :Software / Hospitality / Travel
Service Area :Data & AI
Applied Solution :AIR
1. Overview (项目背景)
本项目为了将Redash和Tableau等BI工具中使用的SQL转换为适应新环境的形式而推进。
现有SQL由于复杂的结构和多种函数混在一起,仅通过自动转换存在局限性,Presto执行环境也是基于VPN接入方式运营,持续发生通信及网络延迟问题。
特别是在受限的日程内需要在8周内转换约4,000件SQL的要求,建立高效的转换战略和工作方式是必不可少的。
2. Solution (解决方案)
为了提高大量SQL转换工作的效率,开发了基于Python的自动化程序,以此为中心最小化了重复工作。
同时与客户方负责人建立了紧密的协作体系,能够快速共享查询特性和业务重要度。
对转换对象SQL明确定义优先级,从核心仪表板和主要分析查询开始分阶段推进工作,以便在受限的期间内执行尽可能多的转换。
3. Result (成果)
转换工作结果,全体对象中部分需要进一步审查和补完。
总共648件(16.2%)的SQL因复杂度及结构性局限需要持续转换工作,521件(13.0%)根据业务重要度及利用度被分类为排除或后续优先。
同时对完成转换的SQL确认了执行可行性,也导出了今后需要进行性能改善和优化的对象。通过这一过程,能够明确整理出超越单纯转换、改善SQL质量和运营效率的后续课题。





