ETL, middleware và đồng bộ dữ liệu thời gian thực
Chúng tôi phát triển giải pháp ETL và middleware theo yêu cầu, giúp dữ liệu tồn kho, giá, đơn hàng và khách hàng luôn được luân chuyển thông suốt giữa ERP, CRM, WMS và các hệ thống vận hành của doanh nghiệp. Khảo sát, xây dựng pipeline, giám sát. Kinh nghiệm từ năm 2010 trên Magento, Sylius, Symfony và các ứng dụng phát triển riêng.
Trao đổi về dữ liệu của bạn
Không doanh nghiệp nào trang bị toàn bộ hệ thống của mình cùng một lúc. ERP (phần mềm quản trị nguồn lực doanh nghiệp) đến khi bộ phận tài chính cần kiểm soát, CRM (quản lý quan hệ khách hàng) khi đội kinh doanh mở rộng, WMS (quản lý kho) khi kho hàng tăng quy mô, và website bán hàng khi các kênh online bùng nổ. Mỗi công cụ đều là lựa chọn đúng vào đúng thời điểm, nhưng không công cụ nào được chọn vì khả năng “nói chuyện” với các hệ thống còn lại.
Đó chính là khoảng trống mà Sutunam lấp đầy. Chúng tôi xây dựng các pipeline dữ liệu và middleware (lớp phần mềm trung gian kết nối các hệ thống) giúp hệ thống của bạn đồng bộ đúng nhịp mà từng quy trình vận hành đòi hỏi, kèm cơ chế xử lý lỗi và đối soát chặt chẽ khi các nguồn dữ liệu mâu thuẫn nhau.
Không connector đóng gói sẵn, không phí thuê bao định kỳ, không middleware đi thuê. Chỉ có giải pháp được phát triển riêng, bám sát kiến trúc hệ thống của bạn, bởi những chuyên gia hiểu rõ từng chi tiết đằng sau dữ liệu.
Từ năm 2010, Sutunam đã thiết kế, xây dựng và giám sát các giải pháp tích hợp dữ liệu cho nền tảng thương mại điện tử, hệ thống doanh nghiệp và hệ thống BI (phân tích kinh doanh). Dữ liệu tồn kho, giá, sản phẩm, đơn hàng và khách hàng được luân chuyển đúng tần suất mà từng loại dữ liệu thực sự cần.
Trước khi đọc tiếp
Hai điều bạn nên biết
Phần lớn thị trường bán gói thuê bao kèm connector độc quyền. Chúng tôi thì không, và điều đó thay đổi bản chất những gì bạn đầu tư.
Bạn sở hữu những gì chúng tôi xây dựng
Mã nguồn, tài liệu, quy tắc mapping (ánh xạ dữ liệu) và cấu hình hạ tầng đều thuộc về bạn. Không có connector độc quyền phải trả phí liên tục, không có phí bản quyền khi vận hành, và không có điều khoản nào khiến việc dừng hợp tác trở nên tốn kém.
Nếu năm sau đội ngũ của bạn muốn tự vận hành pipeline, điều đó hoàn toàn khả thi, và bộ tài liệu bàn giao được soạn ra chính là để việc này diễn ra suôn sẻ. Nếu bạn không muốn tự vận hành, đội ngũ bảo trì và hỗ trợ ứng dụng của chúng tôi luôn sẵn sàng, nhưng quyết định luôn nằm trong tay bạn.
Bắt đầu bằng khảo sát, không phải bằng hợp đồng
Bước đầu tiên là lập bản đồ cách dữ liệu của bạn đang luân chuyển hiện nay. Đây là một hạng mục có phạm vi rõ ràng, có sản phẩm bàn giao riêng và có giá trị độc lập.
Nếu kết luận khách quan là hệ thống tích hợp hiện tại vẫn ổn và chỉ cần bổ sung giám sát, chúng tôi sẽ nói thẳng với bạn, và dù thế nào bạn vẫn có trong tay bản đồ dữ liệu.
Dấu hiệu
Bạn sẽ tự nhận ra khi nào mình cần đến
Hầu hết dự án pipeline của chúng tôi không bắt đầu từ việc ai đó yêu cầu một hệ thống ETL. Chúng bắt đầu từ một trong những tình huống sau.
Mỗi sáng, có người bắt đầu ngày làm việc bằng việc xuất file từ hệ thống này rồi nhập vào hệ thống khác.
Chốt sổ cuối tháng đồng nghĩa với việc đối soát hai hệ thống trên một file Excel, và file Excel đó có hẳn người chuyên trách.
Báo cáo của bạn phản ánh ngày hôm qua, nên các quyết định được đưa ra dựa trên những con số mà ai cũng thầm nghi ngờ.
CRM và ERP ghi nhận khác nhau về cùng một khách hàng, và không bên nào chịu nhượng bộ.
Một giá trị thay đổi trong hệ thống gốc, nhưng vài giờ sau mới đến được các hệ thống phía sau, nếu nó đến được.
Tồn kho chính xác tại kho hàng nhưng sai trên website, dẫn đến bán vượt số lượng thực có.
Một hệ thống tích hợp đang chạy trên môi trường production mà trong công ty không còn ai thực sự hiểu rõ nó.
Một hệ thống gặp sự cố kéo theo cả những hệ thống lẽ ra không hề phụ thuộc vào nó.
Định vị
ETL hay PIM? Hai bài toán khác nhau
Hai khái niệm này thường xuyên bị nhầm lẫn. Chúng bổ trợ cho nhau chứ không thay thế cho nhau, và chính sự khác biệt đó quyết định bạn nên bắt đầu từ đâu.
Kịch bản nào đúng với thách thức vận hành hiện tại của bạn?
Doanh nghiệp có danh mục sản phẩm thường cần cả hai, và hai giải pháp phối hợp rất tốt với nhau. Nên triển khai giải pháp nào trước phụ thuộc vào nơi thực sự phát sinh vấn đề.
Bài toán PIM
Nội dung sản phẩm phân tán, thiếu sót hoặc không nhất quán. Thuộc tính khác nhau giữa các kênh, thiếu bản dịch, hình ảnh và media nằm rải rác ở năm nơi khác nhau. Dữ liệu có đó nhưng không ai tin tưởng chất lượng của nó.
Bài toán ETL
Dữ liệu đã chính xác ở đâu đó, chỉ là chưa có mặt ở nơi cần có. Tồn kho, giá, đơn hàng và thông tin khách hàng chính xác trong một hệ thống nhưng lỗi thời ở mọi hệ thống còn lại.
PIM làm gì
Tập trung mô tả, thuộc tính, bản dịch và media về một nơi, làm giàu nội dung, rồi xuất bản một danh mục sản phẩm chuẩn chỉnh ra mọi kênh bán hàng.
ETL làm gì
Luân chuyển dữ liệu vận hành giữa các hệ thống với nhịp độ đủ nhanh để mọi hệ thống phản ánh cùng một thực tế, và đối soát lại khi có sự cố.
Nếu cột thứ nhất nghe quen thuộc, hãy bắt đầu với giải pháp Quản lý thông tin sản phẩm (PIM). Nếu là cột thứ hai, bạn đã đến đúng trang. ETL thường chính là nguồn cấp dữ liệu cho PIM ngay từ đầu.
Cách tiếp cận
Khối lượng, mức độ phân tán và đặc thù dữ liệu của bạn
Mỗi bài toán dữ liệu có một hình thù riêng. Chuỗi bán lẻ Pháp Bébé9 đã giao cho chúng tôi một trong những bài toán khó nhất: tồn kho phân tán tại hơn một trăm cửa hàng nhượng quyền độc lập, mỗi nơi biến động theo cách riêng, không có điểm trung tâm nào để dữ liệu tự nhiên hội tụ, và tất cả phải quy về một con số duy nhất mà thế giới bên ngoài có thể dựa vào.
Chúng tôi nhắc đến dự án này không phải vì ngành hàng, mà vì một trăm nguồn dữ liệu tự chủ, không có điểm hợp nhất tự nhiên, là cùng một bài toán kỹ thuật, dù các nguồn đó là cửa hàng, kho bãi, công ty con, nhà máy, phương tiện vận tải hay đội ngũ hiện trường. Pipeline thực hiện việc tổng hợp ngay tại lớp tích hợp thay vì chờ hệ thống nguồn làm việc đó, và định nghĩa thương mại của “còn hàng” được thống nhất trước khi bất kỳ bản ghi nào được luân chuyển.
Không phải doanh nghiệp nào cũng cần một pipeline như vậy. Một tổ chức chỉ có một nguồn dữ liệu và cập nhật mỗi đêm có bài toán hoàn toàn khác, và làm như thể không phải vậy sẽ khiến bạn tốn tiền vô ích. Vì thế, chúng tôi bắt đầu bằng việc lập bản đồ cách dữ liệu của bạn đang thực sự luân chuyển, rồi cùng bạn xác định tần suất, khối lượng và những điểm dễ phát sinh lỗi quan trọng nhất đối với doanh nghiệp.
Phạm vi dịch vụ
Khảo sát, xây dựng, rồi giám sát
Ba giai đoạn, từ một bức tranh dữ liệu chưa được ghi chép đến một cơ chế đồng bộ mà đội ngũ của bạn không còn phải bận tâm.
Khảo sát và lập bản đồ dữ liệu
Trước khi xây dựng bất kỳ pipeline nào, chúng tôi cần hiểu dữ liệu của bạn thực sự nằm ở đâu, ai chịu trách nhiệm và mức độ đáng tin cậy của nó. Giai đoạn này làm lộ ra những quy tắc chưa được ghi chép, các cách xử lý thủ công và những lỗ hổng mà một đợt chuyển đổi dữ liệu đơn thuần sẽ mang nguyên vẹn sang hệ thống mới.
- Kiểm kê hệ thống nguồn và dữ liệu
- Đánh giá chất lượng và tính nhất quán của dữ liệu
- Xác định quy tắc nghiệp vụ, kể cả những quy tắc chưa ai ghi lại
- Phân tích khối lượng, tần suất và thời điểm cao điểm
- Xác định nguồn dữ liệu chuẩn (source of truth) cho từng miền dữ liệu
- Nhận diện rủi ro và các điểm dễ phát sinh lỗi
Kiến trúc pipeline và tích hợp
Khi đã biết dữ liệu nào cần luân chuyển và với tần suất ra sao, chúng tôi thiết kế chính pipeline đó. Mục tiêu là một lớp tích hợp đứng vững trước khối lượng kinh doanh thực tế và các tình huống sự cố thực tế, chứ không chỉ chạy tốt trong buổi demo.
- Thiết kế pipeline và middleware
- Đồng bộ dữ liệu sản phẩm, giá, tồn kho, đơn hàng và khách hàng
- Thống nhất dữ liệu gốc (master data) và dữ liệu tham chiếu
- Tự động hóa luồng tài liệu và media
- Đồng bộ đa nguồn, đa đích giữa ERP, CRM, OMS, WMS, PIM và BI
- Lựa chọn chiến lược theo sự kiện (event-driven) hay theo lô (batch) cho từng loại dữ liệu
- Cơ chế xử lý lỗi, thử lại (retry) và đối soát
Giám sát và độ tin cậy
Một pipeline lỗi mà không ai hay biết còn tệ hơn không có pipeline nào. Chúng tôi tích hợp sẵn khả năng quan sát để đội ngũ của bạn tin tưởng dữ liệu ở bất cứ nơi nào nó được chuyển đến, và phát hiện sự cố trước khi hoạt động kinh doanh bị ảnh hưởng.
- Giám sát đồng bộ và cảnh báo
- Các điểm kiểm tra xác thực dữ liệu
- Báo cáo đối soát giữa hệ thống nguồn và hệ thống đích
- Kiểm thử hiệu năng và kiểm thử tải ở khối lượng cao điểm
- Quy trình rollback và khôi phục
- Bảo trì và phát triển liên tục, nếu bạn có nhu cầu
Hệ thống
Cách chúng tôi tích hợp và với những hệ thống nào
Năng lực cốt lõi nằm ở mô hình tích hợp, không phải ở thương hiệu phần mềm. Chúng tôi chọn phương thức truyền dữ liệu dựa trên những gì hệ thống thực sự hỗ trợ, vốn thường ít hơn những gì tài liệu của nó công bố, và chúng tôi làm việc với các hệ thống bạn đang có, chứ không phải những hệ thống chúng tôi mong bạn có.
Mô hình tích hợp
Các hệ thống chúng tôi kết nối
Các nền tảng chúng tôi đã triển khai
Danh sách trên là minh chứng cho những gì chúng tôi đã triển khai, không phải giới hạn cho những gì chúng tôi có thể kết nối.
Bắt đầu bằng khảo sát luồng dữ liệu
Bạn không cần cam kết xây dựng pipeline để biết điều gì đang trục trặc. Chúng tôi lập bản đồ cách dữ liệu của bạn đang luân chuyển, chỉ ra các bước thủ công, những lỗi đang diễn ra âm thầm và luồng dữ liệu nào sẽ hoàn vốn nhanh nhất. Bản đồ đó thuộc về bạn, dù bạn có triển khai cùng chúng tôi hay không.
Dự án dữ liệu tiêu biểu
Hơn một trăm điểm tồn kho độc lập, không có điểm tổng hợp trung tâm, và một con số phải luôn chính xác với thế giới bên ngoài. Cách pipeline hợp nhất một trăm nguồn dữ liệu tự chủ thành một con số đáng tin cậy.
Trên một sàn mua bán xe, dữ liệu hàng tồn thay đổi liên tục. Cách giải pháp ETL của chúng tôi giữ cho tồn kho, tình trạng sẵn có và giá của LS Group luôn nhất quán giữa hệ thống nội bộ và nền tảng Sylius mà khách hàng nhìn thấy.
Xem chi tiết dự ánĐằng sau dự án chuyển đổi từ Magento 1 lên Magento 2 là một bài toán dữ liệu: hợp nhất thông tin sản phẩm, tồn kho và giá từ nhiều nguồn vào một luồng tập trung duy nhất trước khi có thể chuyển đổi bất cứ thứ gì.
Xem chi tiết dự ánFAQ
Câu hỏi thường gặp
Tôi cần PIM, ETL hay cả hai?
Tìm hiểu giải pháp PIM của chúng tôi
Giải pháp này chỉ dành cho thương mại điện tử?
“Gần thời gian thực” thực sự có nghĩa là gì?
ETL khác gì so với tích hợp qua API?
Điều gì xảy ra khi một trong các hệ thống của tôi ngừng hoạt động?
Sutunam có thể làm việc với hệ thống tích hợp chúng tôi đang có không?
Sutunam làm việc theo mô hình đội dự án hay kỹ sư biệt phái?
Ai sở hữu pipeline sau khi đi vào vận hành?
Liên quan
Ngoài ETL và đồng bộ thời gian thực, chúng tôi còn cung cấp
Phát triển theo yêu cầu
Giải pháp kỹ thuật riêng, bám sát hệ thống của bạn, khi không có sản phẩm nào đáp ứng được bài toán.
Quản lý thông tin sản phẩm (PIM)
Tập trung và làm giàu nội dung sản phẩm, rồi xuất bản tới mọi nơi cần thiết.
Tích hợp Magento
Kết nối website bán hàng với các hệ thống ERP, OMS và CRM phía sau.
Hosting & hỗ trợ vận hành
Một pipeline chỉ đáng tin cậy khi hạ tầng bên dưới nó đáng tin cậy.
Phát triển Magento
Kiến trúc được thiết kế để xử lý dữ liệu khối lượng lớn, tần suất cao.
Phát triển web & ứng dụng di động
Từ phân tích, thiết kế kiến trúc đến bàn giao, trên mọi tầng của hệ thống.
Hãy cho chúng tôi biết các hệ thống của bạn đang “lệch pha” ở đâu
Hãy chia sẻ với chúng tôi luồng dữ liệu liên tục trục trặc, file export không ai muốn nhận trách nhiệm, hay hệ thống tích hợp bạn được bàn giao lại. Nhiều khả năng chúng tôi đã từng gặp vấn đề đó, và nếu chưa, chúng tôi sẽ nói thẳng với bạn.