前言

GB/T 36625《智慧城市 數據融合)分為以下五個部分:

--第1部分:概念模型；

--第2部分:數據編碼規(guī)范；

--第3部分:數據采集規(guī)范；

--第4部分:開放共享要求；

--第5部分:市政基礎設施數據元素。

本部分為GB/T 36625的第3部分。

本部分按照GB/T 1.1-2009 給出的規(guī)則起草。

請注意本文件的某些內容可能涉及專利。本文件的發(fā)布機構不承擔識別這些專利的責任。

本部分由中華人民共和國工業(yè)和信息化部提出。

本部分由全國通信標準化技術委員會(SAC/TC 485)歸口。

本部分起草單位:中國城市科學研究會、中城智慧(北京)城市規(guī)劃設計研究院有限公司、中城智慧科技有限公司、軟通智慧科技有限公司、北京清華同衡規(guī)劃設計研究院有限公司、上海竹唄信息技術有限公司、華為技術有限公司、深圳市華傲數據技術有限公司、中國電子科技集團公司信息科學研究院、訊飛智元信息科技有限公司、中興通訊股份有限公司、中冶京誠工程技術有限公司、廣東珠光集團有限公司、吉林吉大通信設計院股份有限公司、中國電子技術標準化研究院、中國信息通信研究院、山東省標準化研究院、建設綜合勘察研究設計院有限公司。

本部分主要起草人:萬碧玉、吳麗麗、馬蓉、王飛飛、王圣波、聶明、崔吳、龔健、李贊、蘇平、朱崇亞、姜棟、李玲玲、曹余、李寧麗、黎俊茂、毛漢平、劉雅晶、佟敏、劉朝暉、李海龍、單峰、張紅衛(wèi)、方可、減磊、杜青峰、李公立、劉棠麗、孫郁噸、陳慧文、王建新、于富東、王樹東。

智慧城市 ?數據融合

第3部分:數據采集規(guī)范

1范圍

GB/T 36625的本部分規(guī)定了智慧城市數據融合過程中數據采集過程、數據采集內容、數據采集技術、數據采集質量控制及數據采集安全控制。

本部分適用于智慧城市各系統的規(guī)劃設計、建設和管理，其他信息化領域的數據采集過程也可參考使用。

2規(guī)范性引用文件

下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件,僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。

GB/T 5271.1信息技術 ?詞匯 ?第1 部分:基本術語

GB/T 22239信息安全技術 ?網絡安全等級保護基本要求

GB/T 31916.1- 2015信息技術 ?云數據存儲和管理 ?第1部分:總則

GB/T 36625.1- 2018 智盤城市 ?數據融合 ?第1 部分:概念模型

3術語和定義

GB/T 5271.1 GB/T 36625.1- 2018 界定的以及下列術語和定義適用于本文件。為了便于使用，

以下重復列出了GB/T 36625.1 - 2018 中的某些術語和定義。

3.1數據融合data fusion

集成多個數據源以產生比任何單獨的數據源更有價值信息的過程。

[GB/T 36625.1- 2018,定義3.1]

3.2數據采集data acquisition

從數據源中得到原始數據。通過標準化處理并轉化為滿足數據共享與利用需求的過程。

4縮略語

下列縮略語適用于本文件。

CCKS:組合誠信密制系統(Combined Credit Key System)

CPK :組合公明(Combined Public Key)

FTP:文件傳輸協議(File Transfer Protocol)

HTTP:超文本傳輸協議(HyperText Transfer Protocol)

HTTPS:超文本傳輸安全協議( HyperT'ext Transfer Safe Protocol)

JDBC:Java數據庫連接(Java DataBase Connciviy)

MQTT:消息隊列遇測傳輸(Message Queuing Telemetry Transport)

ODBC:開放數據庫互連(Open Database Connectivity)

OPC:對象連接和嵌入技術在過程控制規(guī)范(Object Linking and Embedding lor Process Control)

PKI:公鑰基礎設施(Public Key Infrastructure)

PDA:數據采集器(Personal Digital Assistant)

注:又稱掌上電腦。

REST:表述性狀態(tài)轉移( epresentational State Transler)

TCP:傳輸控制協議(Transmission Control Protocol)

UDP:用戶數據報協議(User Datagram Protocol)

VPN;虛擬專用網絡( Virtual Private Network)

5數據采集過程

數據采集過程實現對數據的交換與提取、數據匯聚處理、數據安全加密壓縮，并提供質量控制、安全控制等輔助工具,如圖1所示。

?

數據采集過程包括:

--數據源選擇:根據需要采集數據的數據源類型(如:文件、數據庫、傳感器等) ,確定數據源連找通訊的方式,明確采集標準范圍及屬性?？芍С纸Y構化數據和非結構化數據類型；可支持JD-BC、ODBC、OPC、MQTT、Modbus等多種迕接方式;叫支持TCP、UDP、FTP、HTTP等通訊協議。

--數據采集方式選擇:數據采集分為人工采集和系統采集兩種,通過分析相關數據源類型,根據可操作性、成本導向等原則選定數據采集方式。

--數據匯聚:對采集的原始數據進行清洗、轉換、分析等處理,確保數據的完整性、準確性和時效性。

--數據存儲:可按熙GB/T 31916.1- 2015 的規(guī)定進行,處理后的數據存儲應滿足海量、安全、商性能、高可靠、易管理。

--數據質量:數據采集周期內,應保證數據的完整性.準確性、一致性、時效性、可訪問性、可追溯性。

--數據安全:數據采集周別內,應按數據安全及安全控制要求，實現授權訪問?？啥ㄎ凰菰?、數據加密、安全審計及監(jiān)測等。

6數據采集內容

從智監(jiān)慧城市建設與管理需求及我國智慧城市實踐經驗角度,智慧城市數據采集內容包括但不限于基礎數據、專題數據、業(yè)務專屬數據和其他數據四大類:

--基礎數據,如人口、法人單位、自然資源、地理空間、宏觀經濟、電子證照等數據；

--專題數據，如房屋、城市部件、網格等與智慧城市相關的公共共享數據；

--業(yè)務專屬數據，如涉及公安、公共衛(wèi)生和醫(yī)療、教育、民政、交通、水利、人力資源和社會保障、市場監(jiān)管等眾多領域的業(yè)務數據；

--其他數據,如互聯網、工業(yè)、商業(yè)等數據。

7數據采集技術

7.1 數據采集技術要求

數據采集技術應具備復雜網絡環(huán)境下，不同異構數據源之間高速、穩(wěn)定、彈性伸縮的數據移動及同步能力。采集技術包括但不限于:

--針對結構單一、數據量相對較小的結構化數據，可通過數據庫表、文件、網絡服(WebService)、REST、HTTP/HTTPS、消息訂閱/發(fā)布等技術進行數據采集；

--針對傳感器、智能手機、PDA設備、網絡等渠道產生的類型豐富、數據量較大的數據,可通過分布式系統接口、分布式流數據收集、網絡爬蟲等技術進行數據采集；

--針對由麥克風、攝像頭等設備產生的海量音視頻數據，可通過調音圖像識別、編解碼等技術轉化后進行數據采集；

--針對問卷調查、實地調研、資料分析等產生的數據，可通過在線填報、離線導人等人工轉化方式進行數據采集。

7.2數據采集方法

7.2.1人工采集

通過人工填報、人工導入等方式獲得數據。

7.2.2系統采集

通過系統自動錄入等方式獲得數據,并應滿足下列要求:

--支持全量、歷史數據采集:應提供數據傳輸服務、商并發(fā)的商線數據上傳下載服務，支持TB/PB級例的數據導入(全量數據或歷史數據的批量導人)及導出；

--支持實時或定時增量數據采集:宜提供實時同步、定時采集、數據訂閱、日志采集等服務；

--支持條件過濾:按照指定條件進行指定過濾采集,例如字段內容；

--支持采集作業(yè)管理和調度:采集作業(yè)支持條件觸發(fā)、并發(fā)調度、周期循環(huán)調度等模式:支持對作業(yè)啟動、停止、哲停、恢復等操作；

--支持數據標簽;依據數據清洗要求為數據標記數據標簽；

--支持數據建模:提供居于不同業(yè)務國求進行數據建模功能。

8數據采集質量控制

8.1數據質量控制原則

對數據的質量控制應貫穿整個采集過程,遵循但不限于以下原則:

a)完整性:應包含數據規(guī)則要求的數據的必要元素；

b)準確性:應真實反映數據所描述的實體；

c）一致性:應保證數據與其他特定上下文中使用的數據無矛盾；

d)時效性:應保證數據發(fā)生變化后及時被更新；

e）可訪問性:應保證數據在需要時能被安全訪問；

f)可追溯性:應保證數據能夠被跟蹤和管理。

8.2 數據質量控制方式

8.2.1數據清洗

數據清洗過程管理應包括但不限于：

a)數據分析:應對數據源進行分析,及時發(fā)現數據源存在的質量問題；

b)定義清洗規(guī)則:包括空值的檢查和處理、非法值的檢洲和處理、不一致數據的檢測和處理、相似重復記錄的檢測和處理等；

c)執(zhí)行數據清洗規(guī)則:依據定義的清洗規(guī)則，補足殘缺/空值、糾正不一致、完成數據拆分、數據合并或大重、數據脫敏、數據除噪等；

d）清洗結果驗證:數據清洗方應對定義的清洗方法的正確性和效率進行驗證與評估,對不滿足清洗要求的清洗方法進行調整和改進。數據清洗過程宜多次迭代并進行分析、設計和驗證。

8.2.2數據轉換

應對數據的標準代碼、格式、類型等進行轉換。必要時,可建立“數據轉換規(guī)則表”。

8.2.3數據分析

應通過數據聚合、數據歸類、數據關聯等方法、分析采集的數據,形成上下文完整有效的數據。

8.3 數據質量評價方法

數據質量評價方法可分為定性評價法和定最評價法:

a) 定性評價法可根據事先確定的評價揩標,對數據的安全性、目的、用途、日志以及用戶自定義項日進行評價；

b)定量評價法可采用數據質量檢測軟件檢在數據質量,也可通過輔助工具結合人工識別分析方法進行人工檢查。一般可分為全數檢查和抽樣檢查；

1)針對國家強制要求、特殊要求、其他可能導致嚴重影響的數據質量項目進行全數檢查；

2)針對質量比較穩(wěn)定、數據量較大、檢查費用與時間有限的情況進行抽樣檢查。

9數據采集安全控制

9.1數據安全要求

數據采集安全貫穿于數據融合整個過程中,應符合數據所屬或主管部門的安全要求,包括但不限于:

a) 應符合GB/T 22239對數據應用安全的相關要求;

b) 數據在整個采集、轉化、傳輸過程中應依據授權使用,不被非法冒充、竊取、篡改、抵賴；

c)應對數據采集環(huán)境、設施和技術采取必要的安全管控措施；

d)應明確數據采集過程中個人信息和重要數據的知悉范圍和安全管控措施,并采取必要的技術手段和管理措施保證數據不被泄露；

e)應能夠對采集的數據進行定位溯源；

f)應能夠對數據采集過程進行安全審計及監(jiān)測；

g)應采用通過檢測認證的密碼產品,來保障采集過程中的安全性。

9.2 安全控制方法

數據采集過程中應全方位防御,避免病毒、攻擊、非授權的訪問與內部泄密,同時應保障訪問記錄的審查和監(jiān)督。應包括但不限于:

a)對不同數據進行分類并標識,采用安全技術進行安全維護；

b)監(jiān)控數據使用情況，防止數據在采集過程中被非法訪問、破壞、篡改、丟失、阻止；

c)設立訪問和使用權限控制機制；

d)制定應急響應預案及相應處理措施,并定期進行應急演練,及時發(fā)現安全問題并處理；

e)定期對數據采集的安全性進行風險評估,并據此制定相應的風險處理計劃，及時排查安全漏洞,加固安全技術；

f)采用安全技術維護數據安全,包括但不限于對稱與非對稱密碼技術及其硬化技術、VPN技術、身份認證與鑒別技術、CPK技術、CCKS技術、PKI技術、完整性驗證技術，數字簽名技術、秘密共享技術等；

g)制定數據采集操作規(guī)程,規(guī)范數據采集的數據格式、數據質量、流程和方法等；

h)制定數據采集原則,明確采集數據的目的和用途,確保數據采集的合法性和正當性；

i) 建立安全管理規(guī)范,避免人為因素導致數據泄露、損壞等安全事故。

?

?