近數(shù)計(jì)算技術(shù)是指在一個(gè)數(shù)據(jù)服務(wù)流內(nèi)實(shí)現(xiàn)數(shù)據(jù)檢查、數(shù)據(jù)清洗、數(shù)據(jù)比對(duì)、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)邏輯判斷、數(shù)據(jù)路由、數(shù)據(jù)異常處理等計(jì)算并將計(jì)算的結(jié)果輸出到數(shù)據(jù)服務(wù)的目標(biāo)中；近數(shù)計(jì)算技術(shù)通過優(yōu)化算法，將數(shù)據(jù)服務(wù)的加工計(jì)算在數(shù)據(jù)管理引擎內(nèi)一次完成，減輕數(shù)據(jù)源和目標(biāo)IO操作和計(jì)算壓力，大大降低了對(duì)數(shù)據(jù)源和數(shù)據(jù)目標(biāo)的影響。通過分頁分塊、并行處理等技術(shù)實(shí)現(xiàn)數(shù)據(jù)加工、質(zhì)量處理、數(shù)據(jù)清洗等快速高效運(yùn)行，實(shí)現(xiàn)流批一體數(shù)據(jù)處理。

近數(shù)計(jì)算技術(shù)實(shí)現(xiàn)數(shù)據(jù)庫、NoSQL（hive、hbase、mogodb）、搜素引擎（ElasticSearch）、文件、XML、Web Service、傳輸隊(duì)列、適配器、內(nèi)存表、JSON等之間的相互交換。

近數(shù)計(jì)算處理可以是數(shù)據(jù)加工處理、數(shù)據(jù)邏輯檢查、數(shù)據(jù)安全處理、調(diào)用服務(wù)或者方法等。數(shù)據(jù)加工處理包括字符串加工、字段賦、時(shí)間類轉(zhuǎn)換、比對(duì)翻譯、數(shù)學(xué)計(jì)算、數(shù)組操作、系統(tǒng)信息、變量操作、專用轉(zhuǎn)換、GIS轉(zhuǎn)換等；數(shù)據(jù)邏輯檢查包括：格式檢查、范圍檢查、缺失記錄檢查、相似重復(fù)記錄檢查、數(shù)字檢查、專用檢查、邏輯表達(dá)式檢查、復(fù)合規(guī)則檢查等；數(shù)據(jù)安全處理包括：安全過濾、模糊加密等；調(diào)用服務(wù)或者方法包括：調(diào)用流程/服務(wù)、根據(jù)邏輯判斷調(diào)用處理方法。

數(shù)據(jù)路由包括：干凈數(shù)據(jù)路由、異常數(shù)據(jù)路由、業(yè)務(wù)規(guī)則路由等。

提供可視化界面實(shí)現(xiàn)如下功能:

·支持?jǐn)?shù)據(jù)庫、NoSQL（hive、hbase、mogodb等）、搜素引擎（Elastic Search等）、文件、XML、Web Service、傳輸隊(duì)列、適配器、內(nèi)存表、JSON等之間的相互交換

·基于近數(shù)計(jì)算技術(shù)的轉(zhuǎn)換加工處理

·基于近數(shù)計(jì)算技術(shù)的邏輯判斷和數(shù)據(jù)質(zhì)量檢查

·保證數(shù)據(jù)事務(wù)完整性

·分組并行加工能力

·全量、批量、實(shí)時(shí)的數(shù)據(jù)交換

·大數(shù)據(jù)量的數(shù)據(jù)交換

·復(fù)雜網(wǎng)絡(luò)環(huán)境下可靠數(shù)據(jù)交換

·跨網(wǎng)段、跨單位的聯(lián)動(dòng)式數(shù)據(jù)交換

·基于通道、文件的加密傳輸