Back
Key Takeaway
Trường hợp chuyển đổi dữ liệu quy mô lớn với việc chuyển đổi hơn 4.000 SQL trong vòng 8 tuần
Mặc dù có cấu trúc SQL phức tạp và môi trường thực thi hạn chế, nhưng thông qua tự động hóa dựa trên Python và chiến lược ưu tiên, công việc chuyển đổi SQL quy mô lớn đã được thực hiện, và khả năng chuyển đổi cũng như các nhiệm vụ tối ưu hóa trong tương lai đã được làm rõ.
Travel & Hospitality (Y Company)
Client :Travel & Hospitality (Y Company)
Industry :Software / Hospitality / Travel
Service Area :Data & AI
Applied Solution :AIR
1. Overview (Bối cảnh dự án)
Dự án này được thực hiện để chuyển đổi SQL đang được sử dụng trong các công cụ BI như Redash và Tableau để phù hợp với môi trường mới.
SQL hiện tại có cấu trúc phức tạp và các hàm đa dạng được trộn lẫn, vì vậy chỉ có chuyển đổi tự động là không đủ, và môi trường thực thi Presto cũng được vận hành dựa trên kết nối VPN, do đó các vấn đề về truyền thông và độ trễ mạng liên tục xảy ra.
Đặc biệt, có yêu cầu phải chuyển đổi khoảng 4.000 SQL trong vòng 8 tuần trong thời gian hạn chế, vì vậy việc thiết lập chiến lược chuyển đổi hiệu quả và phương pháp làm việc là cần thiết.
2. Solution (Giải pháp)
Để nâng cao hiệu quả công việc chuyển đổi SQL hàng loạt, một chương trình tự động hóa dựa trên Python đã được phát triển, và các công việc lặp lại đã được giảm thiểu xung quanh nó.
Ngoài ra, một hệ thống hợp tác chặt chẽ với các nhân viên của khách hàng đã được thiết lập để có thể chia sẻ nhanh chóng các đặc điểm truy vấn và tầm quan trọng của công việc.
Ưu tiên được xác định rõ ràng cho SQL chuyển đổi mục tiêu, và bằng cách tiến hành công việc từng bước từ các bảng điều khiển cốt lõi và các truy vấn phân tích chính, chúng tôi đã tiếp cận để thực hiện càng nhiều chuyển đổi càng tốt trong khoảng thời gian hạn chế.
3. Result (Kết quả)
Kết quả công việc chuyển đổi, một số trong tổng số mục tiêu vẫn ở trạng thái cần xem xét và bổ sung thêm.
Tổng cộng 648 SQL (16,2%) được xác định là cần công việc chuyển đổi liên tục do độ phức tạp và hạn chế về cấu trúc, và 521 SQL (13,0%) được phân loại là loại trừ hoặc ưu tiên thứ cấp dựa trên tầm quan trọng công việc và mức độ sử dụng.
Ngoài ra, đối với SQL đã hoàn thành chuyển đổi, khả năng thực thi đã được xác minh, và các mục tiêu cần công việc bổ sung để cải thiện hiệu suất và tối ưu hóa trong tương lai cũng đã được xác định. Thông qua điều này, chúng tôi đã có thể làm rõ các nhiệm vụ tiếp theo để cải thiện chất lượng SQL và hiệu quả vận hành vượt ra ngoài chuyển đổi đơn giản.





