神州信息數(shù)據(jù)交換平臺旨在建立一個面向全行數(shù)據(jù)采集、交換、共享和開放的標準化的、規(guī)范的、高效的、穩(wěn)定的、可控的數(shù)據(jù)服務總線,實現(xiàn)批量、準實時或者實時的數(shù)據(jù)交換要求,提升業(yè)務系統(tǒng)間多樣化、可配置、易管理的非實時批量及準實時數(shù)據(jù)交換能力。
立即咨詢· 手握大量行內(nèi)外數(shù)據(jù),卻未做有效利用或深度分析。
· 疲于應付大量的碎片化,差異化需求。
· 上下游平臺數(shù)據(jù)異構,兼容工作量大。
· 不知道行內(nèi)有哪些數(shù)據(jù)資源可用。
· 數(shù)據(jù)提取方式復雜多變,造成接口兼容耗時周期較長。
· 源系統(tǒng)性能低下,影響效率。標準不一致,轉碼工作牽一發(fā)動全身。
· 數(shù)據(jù)安全規(guī)范以及使用規(guī)范制約數(shù)據(jù)流通。
· 沒有統(tǒng)一的管理體系。
· 數(shù)據(jù)使用情況無法統(tǒng)計,不清楚哪些數(shù)據(jù)使用頻率高,可以針對性提供此類型數(shù)據(jù)的豐度。
神州信息數(shù)據(jù)交換平臺旨在建立一個面向全行數(shù)據(jù)采集、交換、共享和開放的標準化的、規(guī)范的、高效的、穩(wěn)定的、可控的數(shù)據(jù)服務總線,實現(xiàn)批量、準實時或者實時的數(shù)據(jù)交換要求,提升業(yè)務系統(tǒng)間多樣化、可配置、易管理的非實時批量及準實時數(shù)據(jù)交換能力。
· 有渠道告訴大家自身擁有的數(shù)據(jù)種類,以及用途。
· 消費者可以自適應獲取這些數(shù)據(jù),不要總是新增接口兼容需求。
· 統(tǒng)一數(shù)據(jù)標準。
· 希望能夠緩沖部分數(shù)據(jù),不要頻繁查詢影響本系統(tǒng)性能。
· 直觀的了解行內(nèi)哪些數(shù)據(jù)可以使用
· 可以搜索數(shù)據(jù),找出自己需要的數(shù)據(jù)
· 提高數(shù)據(jù)提供效率,包括傳輸效率
· 降低技術門檻,一種數(shù)據(jù)能夠多種方式提供
· 有明確的數(shù)據(jù)安全管控規(guī)范和流程
· 清楚數(shù)據(jù)使用情況,為數(shù)據(jù)架構決策提供參考
· 能夠分析數(shù)據(jù)流向和流量,進行改造優(yōu)化
產(chǎn)品優(yōu)勢
提供實時/準實時/批量數(shù)據(jù)方式采集方式,對采集數(shù)據(jù)進行加工、集成、共享、分發(fā);具備行內(nèi)數(shù)據(jù)和外部數(shù)據(jù)采集/計費能力??沙蔀槿袛?shù)據(jù)傳輸、交換、共享與服務中心,實現(xiàn)統(tǒng)一采集、統(tǒng)一管理、統(tǒng)一服務。
支持多種關系型數(shù)據(jù)庫(如MySql、Oracle、DB2或其他RDBMS),支持對接Hadoop平臺多種組件(Hive、Hdfs、Hase);支持各種文件傳輸(如SFTP)。采用插件化集成機制,針對市面上新出現(xiàn)的各種數(shù)據(jù)源,可迅速開發(fā)Reader端和Writer端程序插件進行集成,保證高擴展性和快速客戶化開發(fā)、交付能力。
每一種讀插件都有一種或多種切分策略,都能將作業(yè)合理切分成多個Task并行執(zhí)行,單機多線程執(zhí)行模型可以讓速度隨并發(fā)成線性增長。
交換平臺將復雜的網(wǎng)狀的同步鏈路變成了星型數(shù)據(jù)鏈路,交換平臺作為中間傳輸載體負責連接各種數(shù)據(jù)源。
提供了簡單的接口與插件交互,提供簡單的插件接入機制,任意加上一種插件,就能無縫對接其他數(shù)據(jù)源。
Reader讀取、FrameWork處理、Writer寫入。
支持多種ETL工具,以引擎的方式集成,交換平臺通過界面配置數(shù)據(jù)交換相關的參數(shù),支持生成各種ETL的腳本并調用,ETL引擎返回執(zhí)行信息,在這個過程中,交換平臺監(jiān)控數(shù)據(jù)交換的執(zhí)行情況,記錄日志。
提供可視化配置的服務數(shù)據(jù)、安全的運行環(huán)境及保證措施。