Đồng bộ tự động¶
Với API gateway, bạn viết code gọi API và tự chạy nó. Với đồng bộ tự động, Logidata vận hành pipeline và dữ liệu tự xuất hiện trong kho của bạn.
Việc mà một pipeline thật phải làm¶
Bản đầu tiên của mọi tích hợp là một script chạy mỗi ngày một lần. Nó chạy tốt khoảng ba tuần. Danh sách dưới đây là những gì phải bổ sung sau đó — Logidata đã làm sẵn từng mục:
| Việc | Vì sao cần | Bản tự viết thường thiếu |
|---|---|---|
| Kéo lại cửa sổ vài ngày | Sàn điều chỉnh số liệu tới 48 giờ sau; đơn đổi trạng thái nhiều ngày sau khi đặt | Chỉ kéo hôm qua ⇒ số liệu đóng băng sai vĩnh viễn |
| Chạy nhiều lần trong ngày | Số liệu trong ngày để ra quyết định | Chạy 1 lần lúc nửa đêm |
| Thử lại khi lỗi tạm thời | Mạng chập, nền tảng 5xx, chạm giới hạn tần suất | Job chết, không ai biết |
Tôn trọng Retry-After |
Retry sai cách kéo dài thời gian bị phạt | Retry ngay lập tức, làm tình hình tệ hơn |
| Chống ghi trùng | Chạy lại phải cho ra cùng kết quả | Chạy lại 2 lần ⇒ doanh thu gấp đôi |
| Cảnh báo khi hỏng | Pipeline chết im lặng là kiểu chết tệ nhất | Phát hiện khi sếp hỏi vì sao báo cáo trống |
| Backfill lịch sử | Thêm shop mới, hoặc đổi định nghĩa chỉ tiêu | Làm tay, mỗi lần một kiểu |
| Theo kịp nền tảng đổi API | TikTok Shop đánh phiên bản endpoint theo tháng | Biết khi pipeline chết |
Logidata chạy các pipeline này trên Airflow cho khách hàng hiện tại, với nhịp thật là 3–12 lần/ngày mỗi luồng, mỗi lần kéo lại cửa sổ 2–3 ngày — đúng theo hai dòng đầu bảng trên.
Bạn nhận được gì¶
Dữ liệu chảy vào kho, không phải vào code của bạn. Bảng trong PostgreSQL (Logidata vận hành, hoặc kho của bạn), cập nhật theo lịch. BI cắm thẳng vào.
Cả dữ liệu thô lẫn dữ liệu đã chuẩn hoá. Tầng thô được giữ nguyên vẹn để luôn truy ngược được về đúng payload nền tảng đã trả; tầng chuẩn hoá là thứ bạn dùng để phân tích.
Có người chịu trách nhiệm khi pipeline hỏng. Cảnh báo đi tới Logidata, không đi tới điện thoại của bạn lúc 3 giờ sáng.
Không tốn hạn mức API của bạn. Đồng bộ tự động chạy trên hạ tầng Logidata, không đếm vào hạn mức tháng của API key.
So với tự gọi API gateway¶
| Tự gọi API | Đồng bộ tự động | |
|---|---|---|
| Ai viết code kéo dữ liệu | Bạn | Logidata |
| Ai chạy nó theo lịch | Bạn | Logidata |
| Ai bị gọi khi nó hỏng | Bạn | Logidata |
| Dữ liệu nằm ở đâu | Nơi bạn tự lưu | Kho dữ liệu, sẵn sàng truy vấn |
| Sàn đổi API | Bạn sửa | Logidata sửa |
| Kiểm soát chi tiết | Toàn quyền | Theo cấu hình thống nhất |
Đây không phải lựa chọn một mất một còn. Nhiều khách dùng đồng bộ tự động cho các luồng nặng và ổn định (đơn hàng, đối soát, báo cáo quảng cáo hằng ngày), rồi dùng API gateway cho các truy vấn đặc thù và công cụ nội bộ.
Khi nào nên cân nhắc¶
- Pipeline của bạn đã chết ít nhất một lần mà không ai phát hiện trong ngày.
- Bạn đang bảo trì tích hợp cho từ hai nền tảng trở lên.
- Bạn cần số liệu cập nhật trong ngày, không phải mỗi ngày một lần.
- Chi phí thời gian của đội cho việc bảo trì đã lớn hơn chi phí thuê ngoài.