Tổng quan về kiến trúc Oracle Data Integrator (ODI)

Giới thiệu Oracle Data Integrator

Oracle Data Integrator 12c là một nền tảng tích hợp dữ liệu hiện đại.

Với hiệu suất vượt trội và kiến trúc linh hoạt, Oracle Data Integrator (ODI) có thể được sử dụng trong nhiều loại dự án khác nhau như Data Warehousing, SOA, Business Intelligence hoặc Application Integration.

Oracle Data Integrator bao gồm một số thành phần, hoạt động cùng nhau xung quanh một kho siêu dữ liệu tập trung (Metadata Repository).

Chúng ta có thể sử dụng công cụ ODI Studio để truy cập Repository và chạy các Agent (được viết bằng Java)

Bài viết này mô tả kiến trúc Oracle Data Integrator 12c, bao gồm các thành phần chính như : ODI Studio, các Agent và các Repository

Các thành phần trong kiến trúc Oracle Data Integrator

ODI Studio

ODI Studio là 1 phần mềm giao diện đồ hoạ, giúp người dùng quản lý ODI.

ODI Studio cung cấp giao diện đồ họa, dễ sử dụng và có thể được cài đặt trên nhiều nền tảng khác nhau như Windows hoặc Linux.

Nó cung cấp 4 công cụ (module) chính: Designer, Operator, Topology và Security.

Tất cả các module này đều lưu trữ thông tin của chúng trong Repository

• Designer

Sử dụng Designer để định nghĩa các quy tắc khai báo (declarative rules) để chuyển đổi (transform) dữ liệu. Các rule này cũng được sử dụng để kiểm tra tính toàn vẹn của dữ liệu.

Chúng ta có thể quan sát toàn bộ project qua module này, đây cũng là nơi database và metadata được định nghĩa hoặc được import vào.

Designer sử dụng metadata và rule để tạo các kịch bản tích hợp dữ liệu hoặc chạy các bước tích hợp trên production (load plan). Đây là module chính dành cho các developer và metadata administrator

• Operator

Operator giúp quản lý và giám sát quá trình tích hợp dữ liệu trên production.

Nó có thể hiển thị nhật ký thực thi với nhiều thông tin hữu ích như: Các lỗi đã xảy ra, số dòng dữ liệu được xử lý, thống kê thực thi, các dòng mã thực được thực thi, …

Trong giai đoạn phát triển, developer cũng có thể sử dụng module Operator để debug.

• Topology

Topology xác định kiến trúc physical và logical của hạ tầng. Người quản trị ODI sẽ khai báo các server, database schema, catalog, và các agent trong repository thông qua module này.

Các Agent

Agent truy xuất code thực thi được lưu trữ trong ODI Repository, kết nối với các hệ thống nguồn và đích khác nhau và điều phối quá trình tích hợp dữ liệu tổng thể.

Có ba loại Agent trong Oracle ODI 12c:

• Standalone Agent:

Standalone Agent được cài đặt trên hệ thống nguồn hoặc hệ thống đích. Cần cài đặt Java Virtual Machine (JVM) lên các hệ thống đó trước khi cài đặt agent.

• Colocated Standalone Agent:

Colocated Standalone Agent cũng có thể được cài đặt trên hệ thống nguồn hoặc hệ thống đích. Chúng có thể được quản lý bằng Oracle Enterprise Manager và phải được cấu hình trong Oracle WebLogic domain.

Các Colocated Standalone Agent có thể chạy trên một máy riêng biệt với máy chủ WebLogic Server.

• Java Enterprise Edition (Java EE) Agent

Java Enterprise Edition (Java EE) Agent được triển khai trên Oracle WebLogic Server và có thể được quản lý bằng Oracle Enterprise Manager.

Agent là các chương trình nhẹ, có thể chạy đa luồng, có thể cân bằng tải trong kiến trúc tích hợp phân tán. Chúng được cài đặt tại các vị trí trong hệ thống để điều phối các quá trình tích hợp và tận dụng các hệ thống hiện có.

Với kiến trúc Extract-Load Transform (E-LT), Agent hiếm khi thực hiện bất kỳ chuyển đổi nào (mặc dù nó có thể). Nó chỉ đơn giản là lấy code từ ODI repository và sau đó yêu cầu các database hoặc hệ điều hành thực thi mã đó.

Khi quá trình thực thi hoàn tất, Agent cập nhật nhật ký thực thi trong repository, sau đó trả về thông báo lỗi (nếu có) và thống kê thực thi. Người dùng có thể xem lại nhật ký thực thi từ module Operator hoặc từ Oracle Enterprise Manager.

Repository

Repository bao gồm một hoặc nhiều Master Repository và nhiều Work Repository. Các Repository này là tập hợp các bảng được lưu trữ trong các hệ quản trị cơ sở dữ liệu quan hệ như Oracle, Microsoft SQL Server, IBM DB2 hoặc MySQL.

Tất cả các đối tượng mà ODI cần cấu hình, phát triển hoặc sử dụng, được lưu trữ trong một trong các Repository này. Từ đó, các thành phần khác trong ODI có thể truy cập và làm việc với chúng.

• Master Repository

Master Repository chứa thông tin bảo mật (User Profile, Role và Privilege), thông tin Topology và mã nguồn (bao gồm tất cả các version) của tất cả các đối tượng ODI.

Thông tin có trong Master Repository có thể được quản lý thông qua Topology và Security module trong ODI Studio cũng như ODI Console.

• Work Repository

Các đối tượng trong Project được lưu trữ trong Work Repository. Các Work Repository có thể tồn tại bên cạnh nhau. Nó có thể được sử dụng để quản lý các môi trường riêng biệt hoặc để diễn tả một vòng đời dữ liệu.

Work Repository bao gồm các thành phần sau:

Models (hay metadata): Bao gồm các datastore, column, constraints, …

Projects: Bao gồm Mapping, Packages, Procedures, Folders, Knowledge module và các variable

Runtime information: Bao gồm các Scenario, Load plans, Scheduling information và execution log.

Người dùng quản lý Work Repository bằng module Designer và Operator trong ODI Studio. Các Agent cũng truy cập các Work Repository này để làm việc.

Khi Work Repository chỉ được sử dụng để lưu trữ thông tin thực thi, nó được gọi là Execution Repository. Một Execution Repository có thể được truy cập trong thời gian chạy bằng module Operator, Agent và Oracle Enterprise Manager

Điều quan trọng cần nhớ là mỗi Work Repository luôn được gắn với một và chỉ một Master Repository.

Nguồn: https://dangxuanduy.com/

Hiện tại, tôi có tổ chức đều đặn các khóa học về quản trị Oracle Database, tôi sẽ để thông tin ở đây, để bạn nào quan tâm về lịch học cũng như chương trình học có thể theo dõi nhé.

Hãy tham gia group “Kho tài liệu kiến thức database” để cùng học hỏi và chia sẻ nhé.