可靠傳輸

一、簡介
平臺獨特的可靠傳輸技術,保障數據傳輸過程中不堵、不丟、保障數據一致性,模塊特性如下:
1. 在同一個服務內實現了端對端的數據交換。
2. 事務處理機制保證跨網段交換數據一致性。
3. 狀態傳感器技術解決了分布式傳輸過程的狀態感知,避免了TCP協議大數據量長時間處理情況下的通訊掛起現象,保證了傳輸的暢通。
4. 支持中心、分中心、中轉、物理隔離、前置等部署方式。提供睿智數據文件格式,能兼容各種類型的數據庫,方便安全區物理隔離情況下準實時交換。支持推、拉等安全傳輸方式。

二、可靠傳輸與數據處理事務技術實現
1. 提供狀態傳感器,保證分布式情況下傳輸和處理的事務完整
提供狀態傳感器,能感知分布式節點的傳輸和加工狀態,當任何一個節點出現故障時能感知并能及時的通知發送方、接收方相關處理服務,發送方斷點不更新,接收方數據不提交,保證分布式傳輸和處理的事務一致性,保證了數據的一致性、可靠性。
2. 提供核心技術滿足復雜網絡情況下的可靠傳輸需要
A) 提供動態智能路由技術
動態智能路由技術解決了通訊連接與網絡的物理連接無關的問題,方便傳輸節點IP地址不固定的情況下的數據傳遞的應用;
動態智能路由技術根據傳輸路徑動態優化數據的傳輸帶寬,尤其是在一對多的數據傳輸情況下,極大的減少了數據傳輸帶寬的占用量,提高了傳遞的速度;
智能路由技術能根據網絡的帶寬狀況調整傳輸包大小,方便在網絡帶寬比較差的情況下的數據可靠傳遞。
B) 面向過程的可靠性數據傳輸機制
這種機制減少了傳輸過程的網絡堵塞,可靠性記錄的瞬間瓶頸等現象,保證數據傳輸的穩定性和可靠性,達到不丟、不重、不錯標準。
提供面向傳輸過程斷點續傳機制,在發送過程中如果訂閱者出現如網絡斷等意外,發送處理將調用積壓處理,對于消息隊列將發送的消息保存到本地的存儲介質中,將在存儲介質中的位置保存到本地的索引表中,對于文件隊列,將文件數據塊索引號保存到本地索引表中,把這些信息打包放到相應的積壓隊列中,然后啟動網絡監控線程,監控訂閱者的網絡情況,當網絡意外解除時調用積壓處理線程做積壓消息發送, 自行重建連接,繼續傳輸未完成部分。
C) 提供了數據塊傳輸和屬性信息的有效管理,提高了傳輸數據量和帶寬利用率
提供了屬性隊列,用于描述數據傳遞的狀態信息等屬性,將數據傳遞塊和傳輸狀態目的等屬性信息分開。方便了大數據量情況下的數據傳輸,減少了傳遞帶寬。提高了數據的傳輸效率,尤其是大數據量情況下的數據傳輸。
D)傳輸通道和整合服務的關聯,可視化配置數據傳遞
數據傳輸通道和整合服務可視化關聯,方便數據傳輸通道和數據加工處理的綁定。通過工具可視化配置發送方數據加工處理,并將加工的結果可視化配到傳輸通道中,可靠地傳輸到接收方,通過工具可視化配置接受方的數據整合處理,并將配置好的整合處理與接受方的通道關聯,接受方的通道一旦接到數據就調用配置的整合服務處理。
主要包括發送方數據關聯和接受方數據關聯。
發送方的數據通道可以和數據整合服務關聯起來。可視化配置數據整合服務,配置轉換和清洗策略、拖拉生成映射關系,將數據整合服務的輸出可以作為數據通道的傳輸內容,放到數據通道上。當指定目標服務器時,通道的數根據指定的服務器ID發送到相應的服務器上;當不指定目標服務器時,通道的數據傳輸根據該通道的訂閱者來傳遞。
接收方接受的通道數據也可以和數據整合服務關聯起來,數據通道的內容可以作為數據整合處理的輸入。可視化配置數據整合服務,配置轉換和清洗策略、拖拉生成映射關系,通過定義接受方的數據通道的定義將配置好的數據整合服務和數據通道內容關聯起來。選擇綁定處理,選擇綁定的數據整合服務。
3. 支持基于通道的數據加工和傳輸服務一體化處理
定義通道——異構數據經轉換、清洗等處理輸出到通道——由傳輸平臺將數據傳輸到接收方——進入到目標系統中。
4. 支持基于文件的內容加工和傳輸服務
提供內置的文件傳輸服務實現文件傳輸的安全可管理的傳輸。異構數據經轉換、清洗等處理輸出到通道——文件的推送處理——接收方文件處理并裝載到目標.
5. 提供易用的文件傳輸服務,用于保障數據文件傳輸的可靠性、可管理性、安全性。文件傳輸支持變化文件傳輸、文件夾傳輸、可定義傳輸數據塊大小、傳輸線程并發數、可選擇文件傳輸加密方法、壓縮傳輸,支持同步、異步傳輸方式。
6. 提供易用的服務實現和外部系統的交換和集成:JMS集成、外部文件傳輸集成服務(HTTP文件傳輸服務、FTP文件傳輸服務、SFTP文件傳輸、HADOOP文件傳輸)。
三、 解決的難點重點
可靠傳輸與數據處理事務架構解決了堵包、丟數據,數據不一致等問題。
提供端對端的數據服務,在同一個數據服務內實現跨網段的數據交換,解決了堵包、丟數據,數據不一致等問題,事務處理機制保障了跨網段交換數據一致性。提供狀態傳感器技術,能感知分布式傳輸過程的狀態感知,避免了長時間處理情況下的通信掛起現象,保障了傳輸的暢通。

