數(shù)據(jù)分析與挖掘是人工智能發(fā)揮真正價值的核心。傳統(tǒng)的大數(shù)據(jù)分析，不管是傳統(tǒng)的聯(lián)機分析處理(OLAP)技術還是數(shù)據(jù)挖掘技術，都難以應對大數(shù)據(jù)的挑戰(zhàn)。一是執(zhí)行效率低，傳統(tǒng)數(shù)據(jù)挖掘技術都是基于集中式的底層軟件架構開發(fā)，難以并行化，在處理TB級以上數(shù)據(jù)時效率低;二是數(shù)據(jù)分析精度難以隨著數(shù)據(jù)量提升而得到改進，特別是難以應對非結構化數(shù)據(jù)。深度學習具有自行處理、分布存儲和高度容錯等特性，非常適合處理非線性的或者模糊、不完整、不嚴密的知識和數(shù)據(jù)。智能大數(shù)據(jù)分析技術利用深度學習算法自動開展多種分析計算，探究數(shù)據(jù)資源中的規(guī)律和異常點，輔助用戶更快、更準地找到需求點，從而實現(xiàn)風險預測和評估。

　　總書記深刻指出，"要推動大數(shù)據(jù)技術產業(yè)創(chuàng)新發(fā)展""要運用大數(shù)據(jù)提升國家治理現(xiàn)代化水平"。李克強總理在今年的政府工作報告中提出，要"深化大數(shù)據(jù)、人工智能等研發(fā)應用"。公安機關必須積極推進公安大數(shù)據(jù)戰(zhàn)略，加快推動公安工作由信息化向智慧化升級轉型，在促進大數(shù)據(jù)與社會治理深入融合中提升社會治理能力和水平，讓打防管控的矛更利、盾更堅，切實筑牢維護國家政治安全、確保社會大局穩(wěn)定、促進社會公平正義、保障人民安居樂業(yè)的堅強防線。

　　一、公安大數(shù)據(jù)建設要點

　　1.PB級數(shù)據(jù)存儲管理：信息化建設在推進，數(shù)據(jù)規(guī)模隨之飛速增長，為了滿足大規(guī)模數(shù)據(jù)的存儲和分析，大數(shù)據(jù)存儲系統(tǒng)應支持單一系統(tǒng)擴展至10PB以上規(guī)模，以滿足未來數(shù)據(jù)爆發(fā)的存儲需要

　　2.多種數(shù)據(jù)類型與協(xié)議支持：公安數(shù)據(jù)形式多樣，包含文檔、圖片、視頻、柵格、矢量等，因此該系統(tǒng)需要能夠支持結構化、半結構化、非結構化多種數(shù)據(jù)類型，提供NFS/CIFS/JDBC/ODBC等多種接口，以便業(yè)務對多種數(shù)據(jù)進行訪問和操作;

　　3.高質量的數(shù)據(jù)整合：好的數(shù)據(jù)質量是數(shù)據(jù)分析挖掘等有效應用的基本條件，面對公安行業(yè)交互復雜而繁多的系統(tǒng)，勢必需要將這些多源異構的數(shù)據(jù)進行抽取、轉換及裝載，實現(xiàn)數(shù)據(jù)的整合、消重，提供高質量的數(shù)據(jù)，在此基礎上進行關聯(lián)、建模，為實戰(zhàn)業(yè)務提供可用的數(shù)據(jù);

　　4.高效的數(shù)據(jù)分析能力：百億條記錄的檢索、上千張表的碰撞、幾百個小時的視頻分析、大量的移動互聯(lián)網和社交媒體數(shù)據(jù)處理等應用，無不對大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)分析能力提出更高的要求;

　　5.可管理和開放性：可管理、開放化、標準化的大數(shù)據(jù)技術體系架構，不僅可以為公安帶來更高的性價比、更出色的擴展性，更能為警務建設在大數(shù)據(jù)平臺上開展新探索、新應用解除后顧之憂;

　　6.安全可靠，自主可控：公安系統(tǒng)中很多數(shù)據(jù)關系著國家安全和人民生命財產安全，因此，要求該系統(tǒng)具備非常高的可靠性，同時，為進一步加強數(shù)據(jù)安全性，避免數(shù)據(jù)泄露，選用具備完全自主知識產權的國產設備和系統(tǒng)。

　　二、公安大數(shù)據(jù)的技術選型

　　大數(shù)據(jù)的實質是對數(shù)據(jù)的管理與開發(fā)利用，與當前以信息資源開發(fā)為核心的公安工作具有廣泛的共通性，如何借助大數(shù)據(jù)技術推動公安工作的發(fā)展和變革?技術選型非常重要。在各個企業(yè)和組織紛紛助推下，大數(shù)據(jù)領域的相關技術呈現(xiàn)百花齊放局面，涵蓋數(shù)據(jù)收集、存儲、計算、挖掘、資源調度等，下面就以核心的計算層和存儲層兩個維度介紹下有關技術路線和發(fā)展趨勢。

　　數(shù)據(jù)處理：

　　簡而言之，不管對何種應用，當數(shù)據(jù)量很大時就無法在一臺服務器上解決計算問題，此時分布式計算優(yōu)勢就體現(xiàn)出來，而HadoopMapReduce的重要創(chuàng)新便是當處理一個大數(shù)據(jù)集時會將其任務分解并在運行的多個節(jié)點中處理，這種批處理框架常用于離線的復雜的非結構化數(shù)據(jù)處理，如ETL、數(shù)據(jù)挖掘等場景;與Hadoop的使用硬盤來存儲數(shù)據(jù)不同，Spark是基于內存的迭代計算框架，適用于需要多次操作特定數(shù)據(jù)集的應用場合;而Storm則是專門針對實時數(shù)據(jù)類型的流式計算分析框架，應用在低延遲的場景中，實現(xiàn)海量事件的實時分析、處理和決策。除此之外，為應對不斷增長的海量結構化數(shù)據(jù)的存儲和快速處理以及靈活的業(yè)務建模需求，數(shù)據(jù)庫系統(tǒng)必將引入分布式架構、MPP處理技術。

　　數(shù)據(jù)存儲：

　　上面提到了MapReduce將任務分發(fā)到多個服務器上處理大數(shù)據(jù)的能力。而對于分布式計算，每個服務器必須具備對數(shù)據(jù)的訪問能力，這就是HDFS所起到的作用，HDFS有著高容錯性、高吞吐量的特點，適合大數(shù)據(jù)集的應用。與此同時，業(yè)內也有許多其他類型的文件系統(tǒng)推出，不僅能解決了傳統(tǒng)存儲體系結構存在的難題，又能提高存儲利用率和數(shù)據(jù)讀寫性能，可以替代HDFS作為Hadoop架構的底層文件系統(tǒng)/數(shù)據(jù)存儲。

　　不同的技術思路各有偏重，由于公安業(yè)務種類繁多，大數(shù)據(jù)應用場景多樣化，除了建立各類基礎大數(shù)據(jù)資源庫之外，還需要做到事前預測警務研判、事中實時情報分析及事后案事件分析，及可視化查詢統(tǒng)計等，建議公安用戶基于智能融合的大數(shù)據(jù)架構構建上層應用，積極引入大數(shù)據(jù)領域的先進技術，推動公安工作邁入大數(shù)據(jù)發(fā)展階段。

　　三、公安大數(shù)據(jù)應用領域

　　(一)大數(shù)據(jù)與應急

　　借助大數(shù)據(jù)，既可以預測某一區(qū)域乃至全國的某種類型的犯罪趨勢，也可以預測某一時間某一具體地點某種類型的犯罪，還可以預測某一個體的犯罪概率。根據(jù)預測，我們可以制訂計劃，優(yōu)化警力配置，提升行動效率。

　　(二)大數(shù)據(jù)之與社會維穩(wěn)

　　互聯(lián)網成為人們日常交流、表達思想和宣泄情緒的重要平臺，也是相關內容安全保障的重要平臺。網絡輿論已成為社會輿論的重要組成部分，越來越多地引起全社會的高度重視。搜索引擎、微博、微信、論壇、貼吧等互聯(lián)網輿論集中的區(qū)域，搜集這些數(shù)據(jù)便獲取到了以往無法掌握的社會輿論動向，熱度輿論、以及輿論領袖。一些突發(fā)事件和熱點、敏感問題在網上被惡意炒作，形成強大的網上輿論氣候，各種負面信息通過互聯(lián)網的各種服務方式快速、廣泛傳播，嚴重影響社會穩(wěn)定和政府單位形象?；ヂ?lián)網不僅是現(xiàn)實社會的虛擬映像，還是現(xiàn)實問題的聚焦鏡和放大器。

　　通過輿情機制，一方面可以加強互聯(lián)網信息監(jiān)管，另一方面，對于及時應對網絡突發(fā)的公共事件和全面掌握社情民意，并對于及時發(fā)現(xiàn)社會蘊藏的潛在不穩(wěn)定因素，提早預防起著重要作用。