Sm@rtDSB統(tǒng)一數(shù)據(jù)交換平臺(tái),旨在建立一個(gè)面向全行數(shù)據(jù)采集、交換、共享和開(kāi)放的標(biāo)準(zhǔn)化的、規(guī)范的、高效的、穩(wěn)定的、可控的數(shù)據(jù)服務(wù)總線,實(shí)現(xiàn)批量、準(zhǔn)實(shí)時(shí)或者實(shí)時(shí)的數(shù)據(jù)交換要求,提升業(yè)務(wù)系統(tǒng)間多樣化、可配置、易管理的非實(shí)時(shí)批量及準(zhǔn)實(shí)時(shí)數(shù)據(jù)交換能力。
搭建統(tǒng)一數(shù)據(jù)交換平臺(tái)整體框架
實(shí)現(xiàn)數(shù)據(jù)交換的統(tǒng)一管理
跨系統(tǒng)間準(zhǔn)實(shí)時(shí)數(shù)據(jù)交互數(shù)據(jù)交換
滿足貼源數(shù)據(jù)層(ODS)與對(duì)外圍應(yīng)用系統(tǒng)的數(shù)據(jù)交換
滿足數(shù)據(jù)倉(cāng)庫(kù)與外圍應(yīng)用系統(tǒng)的數(shù)據(jù)交換需求
滿足大數(shù)據(jù)平臺(tái)及其應(yīng)用的數(shù)據(jù)交換需求
統(tǒng)一數(shù)據(jù)交換平臺(tái)技術(shù)及數(shù)據(jù)支持服務(wù)
統(tǒng)一數(shù)據(jù)傳輸和分發(fā),滿足多法人數(shù)據(jù)披露和共享要求
數(shù)據(jù)交換平臺(tái)功能分為平臺(tái)管理和數(shù)據(jù)交換兩大模塊,平臺(tái)管理包含用戶管理、角色管理、機(jī)構(gòu)管理、權(quán)限管理等基礎(chǔ)功能。數(shù)據(jù)交換包含數(shù)據(jù)注冊(cè)、參數(shù)配置、數(shù)據(jù)服務(wù)、調(diào)度服務(wù)等模塊,具體的功能細(xì)節(jié)如下:
首頁(yè):展示各個(gè)系統(tǒng)的近一周的數(shù)據(jù)的交易量。
機(jī)構(gòu)管理:增刪改行內(nèi)機(jī)構(gòu)信息屬性,支持虛擬機(jī)構(gòu)和部門(mén)。
角色管理:增刪改行內(nèi)角色信息屬性,主要用戶權(quán)限控制。
用戶管理:增刪改登陸該系統(tǒng)的行內(nèi)用戶信息屬性,結(jié)合角色管理,實(shí)現(xiàn)權(quán)限的控制。
菜單管理:增刪改菜單,主要用于開(kāi)發(fā)階段菜單的詳細(xì)配置,一旦上生產(chǎn),不會(huì)做改變,所有數(shù)據(jù)均是初始化而來(lái)。
數(shù)據(jù)字典、字典維護(hù):用于系統(tǒng)中的各個(gè)數(shù)據(jù)字典的相關(guān)信息維護(hù),開(kāi)發(fā)階段會(huì)進(jìn)行增刪改,生產(chǎn)環(huán)境則不能對(duì)其進(jìn)行操作,所有數(shù)據(jù)均是初始化而來(lái)。
密碼規(guī)則配置:配置系統(tǒng)的密碼規(guī)則。
菜單功能組:可以配置頁(yè)面上的所有操作按鈕的權(quán)限,所有數(shù)據(jù)均是初始化而來(lái)。
關(guān)系數(shù)據(jù)庫(kù)定義:定義關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)源(IP,driver,用戶名等相關(guān)配置)。
文件系統(tǒng)定義:定義文件型系統(tǒng)的數(shù)據(jù)源(IP,port,用戶名等相關(guān)配置)。
運(yùn)行參數(shù)配置:定義遷移的取數(shù)條件(如半年,3個(gè)月等)。
遷移頻率:定義遷移頻率(如日頻、月頻等),可自定義corn表達(dá)式。
關(guān)系型數(shù)據(jù)注冊(cè):注冊(cè)相關(guān)信息(包含:編碼,名稱,數(shù)據(jù)類型,創(chuàng)建人,創(chuàng)建時(shí)間等……),點(diǎn)擊紅色箭頭進(jìn)入下一層系統(tǒng)信息(即數(shù)據(jù)源的信息)。
系統(tǒng)信息(數(shù)據(jù)源):將配置的數(shù)據(jù)源信息在這里注冊(cè),點(diǎn)擊紅色箭頭進(jìn)入下一層表信息。
表信息:顯示表的基礎(chǔ)信息(包含:編號(hào),表名,中文名等……),若是將該表作為源,則表信息中的取數(shù)SQL就是卸載數(shù)據(jù)的取數(shù)條件。若是將該表作為目標(biāo)表,則表信息中的前置SQL和后置SQL就是入庫(kù)前處理和入庫(kù)后處理SQL。點(diǎn)擊紅色箭頭進(jìn)入下一層字段信息。
字段信息:包含字段的各個(gè)屬性。
文件型數(shù)據(jù)注冊(cè):注冊(cè)相關(guān)信息(包含:編碼,名稱,數(shù)據(jù)類型,創(chuàng)建人,創(chuàng)建時(shí)間等……),點(diǎn)擊紅色箭頭進(jìn)入下一層文件系統(tǒng)信息。
系統(tǒng)信息(數(shù)據(jù)源):將配置的數(shù)據(jù)源信息在這里注冊(cè),點(diǎn)擊紅色箭頭進(jìn)入下一層文件信息。
文件信息:文件的各種信息(包含:編碼,文件名,存放路徑,分隔符,編碼等……)點(diǎn)擊紅色箭頭進(jìn)入下一層字段信息。
數(shù)據(jù)發(fā)布:將注冊(cè)后的數(shù)據(jù)進(jìn)行挑選,發(fā)布出去,供各個(gè)下游系統(tǒng)進(jìn)行使用(可指定使用者),只有指定的使用者才有使用的權(quán)限。
數(shù)據(jù)申請(qǐng):用戶申請(qǐng)有權(quán)限的數(shù)據(jù)。
數(shù)據(jù)映射:將申請(qǐng)的數(shù)據(jù)進(jìn)行表映射和字段映射(文件型的,虛擬成表進(jìn)行映射)。
服務(wù)節(jié)點(diǎn)配置:配置服務(wù)的運(yùn)行Datax節(jié)點(diǎn)(后期支持集群)。
運(yùn)行日期定義:定義任務(wù)的運(yùn)行日期(包含:運(yùn)行日期,上次運(yùn)行日期,當(dāng)前運(yùn)行日期,下次運(yùn)行日期,運(yùn)行結(jié)束日期,日期切換方式)。
任務(wù)服務(wù)定義:定義任務(wù)的相關(guān)信息(如服務(wù)編碼,執(zhí)行節(jié)點(diǎn),日期參數(shù),執(zhí)行計(jì)劃,并發(fā)數(shù)等……)。
服務(wù)依賴配置:定義任務(wù)的依賴。
服務(wù)引擎:顯示當(dāng)前服務(wù)的運(yùn)行狀態(tài),以及進(jìn)行各種操作。
作業(yè)運(yùn)行監(jiān)控:監(jiān)控作業(yè)的運(yùn)行狀態(tài),以及對(duì)作業(yè)進(jìn)行各種操作。
運(yùn)行日志:查看各個(gè)作業(yè)的運(yùn)行日志,以及數(shù)據(jù)量。