Big Data BigInsights Streams 大數據

  • SANS:2016年安全分析調查研究報告

    2016-12-23 01:58:31

    2016年12月6日,SANS發佈了第4期(2016年度)安全分析調查研究報告。報告對全球348名受訪者進行了調查研究。結果顯示,38%的人用安全分析來評估風險,35%的人用安全分析來識別惡意行為,31%的人用來實現合規。這也是安全分析最常用的三個場景。安全分析自動化不足的問題依然沒有多大改觀,和上次調查研究相比,依然僅有4%的人認為自己完全最到了安全分析自動化,僅有22%的人使用了機器學習相關的工具來參與安全分析。


    1、資料收集的範圍

    首先是應用日誌(包括應用的審計日誌),第二是網路FW/IDS/IPS/UTM設備日誌,第三是漏掃/配置核查/補丁管理結果,第四是端點保護系統的日誌,再往後還有主機反惡意程式碼系統(AV)日誌,Whois,DNS日誌,情報資料,包檢測資料,使用者行為監測資料,身份資料,資料庫日誌,沙箱日誌,雲安全性記錄檔,大資料系統日誌,等等。

    image001

    2、威脅情報的收集與集成

    首選的用SIEM來收集情報,並將情報與各種資料進行關聯。其次是用自己開發的系統來做。

    image003

    3、安全分析過程的自動化

    認為完全自動化了的只有3.6%,差不多自動化了的有53.7%,根本沒有自動化的有22.1%,還有10.5%的人不知道是否做到了自動化(也基本可以視作沒有自動化)。

    image005

    4、是否發生過資料洩漏

    65%的人都表示過去兩年內自己單位發生過需要處置的資料洩漏事件。表示沒有發生過的占17%。

    image006

    5、回應速度

    整體上好於去年。62%的人表示最快可以在被攻陷後1天之內就檢測出來,而僅有5%的人最長需要超過10個月才能發現自己已經被攻陷。

    image008

    6、報警機制

    針對資訊洩漏和破壞事件的觸發來源,終端監測軟體的報警是最多的方式,其次是依靠SIEM的自動化告警,以及其他分析系統的自動化告警,再往後是依靠邊界防禦設備的告警,協力廠商供應商的告警,客戶發起的報告。

    image009

    7、安全分析的短缺

    最主要的三個短缺依次是:缺乏分析技能(也就是缺人,並且是高水準的人)、缺乏預算和資源、難以進行行為建模和檢測不出異常、缺乏對網路流量和日誌的可視性。簡言之,分析工具再NB,沒有分析人員也白給!

    image011

    8、安全分析工作的頻度

    在防護、檢測和回應階段,安全分析都佔據了很長的時間比,說明安全分析佔據了安全運維工作的重要角色。

    image013

    9、安全分析最有價值的場景

    依次是評估風險、識別可疑或者惡意的用戶行為、合規監測與管理、檢測外部惡意威脅、提升對網路和端點行為的可視性、檢測內部威脅,等等。

    image015

    10、可量化的改進

    有44%的受訪者表示他們通過安全分析工具能夠獲得可量化的改進和提升。

    image017

    11、對自身安全分析能力的滿意度

    16.1%人對於提升檢測速度表示十分滿意,54.1%的人對於性能、回應時間、查詢速度表示滿意,40.9%的人對預測和阻止未知威脅表示不滿意,45.5%的人對於“知彼”能力很不滿意。

    image019

    12、大資料安全分析和安全分析的區別

    還有48.2%的人認為二者沒有本質區別,但有34%的人認為二者有區別,主要體現在分析流程和工具的差異化上。SANS認為將這兩者區分開來標誌著對安全分析的深入理解。

    image021

    13、未來在安全分析領域的投資方向

    跟去年的調查研究類似,第一位的是人員和培訓,有49%的人投給了人和培訓。接下來,42%的人投給了檢測和SOC升級;29%的投給了事件回應(IR)集成;再往後是SIEM工具和系統,以及大資料分析引擎和工具。有趣的是安全情報產品工具和服務從去年的43%降低到了今年的18%,SANS估計是因為組織當前更加注重內部資料的收集,多過依賴協力廠商產品和服務。

    image023

    小結:更多的組織和單位開始使用安全分析,我們收集的資料越來越多,也越來越好,但最大的問題還不能很好地利用這些資料來進行檢測與回應。儘管我們可以更快地發現未知威脅,但是我們依然沒能很好地劃定威脅優先順序、集中的修復和彙報,以及建立正常的行為模型從而標記出異常。導致如此的原因之一就在於長期缺乏SOC運維的技能,以及管理上和資金上的支撐。

    Utilization of security analytics is slowly improving, and we’ve done a much better job of collecting data, but more effort is needed to detect, respond and report results using analytics before we can say we’re really maturing in this space.

  • IBM給出大資料答案

    應用大數據技術能夠獲得更多商業價值,這一觀點已被眾多企業高管所接受。但是,在企業中如何實施大資料工程,並不是僅僅是簡單的技術問題,而是一項系統工程。在的IBM IOD (Information On Demand)大會上,IBM向與會者展示了其應對大數據時代的新產品和新方案。並從服務、實施以及方法論等各個角度,為企業用戶提供了一份有關大資料實施的標準化答案。顯然,IBM希望借助其全球業務服務諮詢部經驗豐富的行業專家,借助談論大資料整體架構、實施來凸顯自己的優勢,而不是像微軟(MicroSoft)、甲骨文(Oracle)和思愛普(SAP)們那樣,單獨討論某一個或某一類技術產品。不過,作為一年一度的技術盛會,IBM仍舊有義務在本次大會上為參與者獻上一份技術大餐,藉此凸顯出IBM在大資料方面的技術能力。

      IBM將預測和分析能力上升到了雲端。通過智慧雲預測分析洞察(IBM Operations Analytics - Predictive Insights)軟體,IBM旨在將IT系統中的運算元據和日誌檔轉化為商業智慧。此前,這些日誌檔的應用非常簡單,在進行事件監測和診斷之後往往就會被丟棄或者歸檔,以防止這些資料佔據寶貴的業務資源。但在大資料時代,IT監控和事件資料可以説明IT預見和避免問題,而不是事後診斷故障。有許多IT監控系統是一個綜合了所有設定閾值和警報的自動化系統,而IBM希望結合後臺的大量資訊,通過大量相關性異常資料做出預測性洞察。IBM表示,使用智慧雲預測分析洞察軟體,企業可以即時篩選TB位元組的IT運營資料,並僅著眼於對IT網路性能至關重要的趨勢。該軟體的認知計算能力可以對企業的IT系統進行學習、推理和感知。IBM稱,該軟體還能隨著業務和性能狀況的變化,適應因系統組態較差造成的錯誤,並通過不斷的更新設置主動清除這些錯誤。

      目前,總部設置在伊利諾斯州的綜合電信、有線電視運營商Consolidated CommunicationsIBM合作,利用預測性洞察來追蹤其系統中約80,000項性能指標,例如連線速度和電視頻率水準。該公司的網路工具與自動化控制系統主管Chris Smith表示,通過與IBM合作,將認知技術應用到我們的IT業務資料之中,我們能夠學習對每家客戶來說什麼是好的服務。我們能夠即時發現關鍵異常,不管這種異常多麼微小。擁有IBM軟體,我們可以為每家客戶定制我們的服務,提高網路的整體效率,提前發現問題並解決問題。據悉,採用IBM的服務後,Consolidated Communications能更有效地避免服務中斷——這是以前的監測系統無法判斷和識別的,每年能節省約30萬美元。

      SmartCloud虛擬存儲中心也同樣應用了機器學習和分析功能,決定如何對資料進行存儲。存儲選擇通常是在快速資料存取速度和容量成本之間進行權衡。通過分析資料使用模式,這種智慧軟體會識別最適合企業資料的存儲類型,並自動進行改變而不中斷用戶的應用。隨著時間的推移,該軟體會學習關鍵的使用模式,根據業務需求變化來調整並移動資料。據悉,IBM在其科羅拉多州博爾德市資料中心部署了這種自動化的存儲分層功能,每TB的存儲成本降低了近50%目前,IBM擁有100多種將分析融入產品線和IT運營軟體的軟體即服務產品(SaaS)IBM Operations Analytics - Predictive Insights是其中一種,在不遠的將來將獲得SoftLayer架構支持。SoftLayer正在迅速成為IBM雲組合的基礎,自從20137月被 IBM收購以來新增了1000多家客戶。

     

      對跨越多個IT系統的資源利用大資料進行分析,Splunk已卓有成效。但IBM表示,預測性洞察服務是IBM Splunk和其他產品之間的最大不同,它是一個分析相關性和模式檢測的環境,而不是一個開放式的搜索和發現工具。

  • IBM升級大資料能力説明企業拓展價值

     IBM宣佈其大資料能力再度升級。利用業界領先的認知計算和預測分析技術,IBM正在幫助全球企業 更輕鬆地預測和應對大資料挑戰,贏得機遇。此外,基於IBM BLU Acceleration技術的進一步擴展,企業用戶得以通過更加高速的分析軟體發掘海量資料中的價值。

      利用新的IBM大資料軟體,企業能夠在本身的IT基礎架構上應用認知智慧的基本元件,説明員工從大資料中獲得洞察,而不是僅僅關注如何應對龐大的資料量。洞察將有助企業預測IT故障、提高生產率並節約成本。

       如今,企業的IT系統變得愈加複雜,管理的挑戰也愈加嚴峻。隨著移動計算和雲計算環境的普及,這些系統每天能夠產生超過1.3TB的資料,其中包括日誌、軟體錯誤警告、IT服務票證和網路配置更新等。這些資料每天可形成超過100萬個事件或系統警告,其中一部分對IT性能來說至關重要,但是剩下的大量無關事件卻令系統管 理員疲于應付。

      IBM最新的大資料技術可説明組織轉型步入計算新時代,讓系統學習、推理、感應、預測和優化決策。類似 IBM Watson的認知系統可以理解使用者問題的內涵,從大資料中發現答案,並通過持續從經驗中學習來提升性能。

       IBM全球高級副總裁兼軟體與系統科技集團總經理Steve Mills先生表示:隨著資料的價值持續增長,贏得客戶的制勝關鍵將在於預測如何更快更準確地説明客戶實現業務轉型。IBM最新的解決方案可以令企業更快更便捷地預測顧客行為與影響,而所有的一切都是通過雲來交付

      認知計算和預測分析升至雲端

       企業通常將IT運算元據丟棄或歸檔,防止這些資料佔用寶貴的業務資源。現在, 使用IBM Operations Analytics - Predictive Insights,企業可以即時篩選TB位元組的IT運營資料,僅著眼於對IT網路性能至關重要的趨勢。該軟體的認知計算能力可以對企業的IT系統進行學習、推理和感知。隨著業務和性能狀況的變化,該軟體能夠適應因系統組態較差造成的錯誤,並通過不斷的更新設置主動清除這些錯誤。這項新技術將在IBM雲計算基石SoftLayer架構上運行。

      領先的電信公司Consolidated Communications正在與IBM合作。通過分析IT運營資料,僅無功成本一項每年將節省300,000美元。公司為500,000家客戶中的每 一家設定並監控超過80000項性能標準,如連線速度和電視頻率水準。 IBM軟體的認知智慧能夠學習並預測正常的使用和性能標準,自動設置並監測對每家客戶最重要的指標。智慧軟體還可以説明公司在海量資料中識別微小但關鍵的 異常,提前發現潛在的網路問題。

      Consolidated Communications公司網路工具與自動化控制系統主管Chris Smith表示,通過與IBM合作,將認知技術應用到我們的IT業務資料之中,我們能夠學習對每家客戶來說什麼是好的服務。我們能夠即時發現關鍵異常, 不管這種異常多麼微小。擁有IBM軟體,我們可以為每家客戶定制我們的服務,提高網路的整體效率,提前發現問題並解決問題。

      IBM還 將機器學習和分析與新版本的SmartCloud虛擬存儲中心存儲在一起。現在,企業可以通過自動進行的複雜存儲分層決策以及移動雲存儲,節約時間和資金。通過分析資料使用模式,這種智慧軟體會識別最適 合企業資料的存儲類型,並自動進行改變而不中斷用戶的應用。隨著時間的推移,該軟體會學習關鍵的使用模式,根據業務需求變化來調整並移動資料。 IBM在其科羅拉多州博爾德市資料中心部署了這種自動化的存儲分層功能,每TB的存儲成本降低了近50%

      IBM擁有100多種將分析融入產品線和IT運營軟體的軟體即服務產品(SaaS)IBM Operations Analytics - Predictive Insights是其中一種,在不遠的將來將獲得SoftLayer架構支持。SoftLayer正在迅速成為IBM雲組合的基礎,自從20137月被 IBM收購以來新增了1000多家客戶。

  • 招商銀行:利用大資料智慧運維分析, 化被動為主動, 保護業務生命線

    日期:2015-9-16作者:IBM來源:TechTarget中國

    一年一度的雙十一電商購物節又將來臨。在這個即將到來的不眠之夜,除了連夜搶單到手軟 的敗家網友,街頭的快遞哥們也正在緊張忙碌地派發著快件。而在位於招商銀行深圳研發中心大廈的招行IT運維總部裡,卻看不到一絲的忙亂。辦公區上方的大屏 幕正顯示著招行各業務系統的IT系統狀況,各項指標運行平穩。

    類似的景象並非偶然。在面對大流量的雙十一購物節和每年春運前後的搶票季,這裡總是井井有條。而井然有序的背後,是一套領先的IT運維管理系統在大顯身手。

    事前管理和敏捷運維:應對銀行IT運維新挑戰

    在招商銀行IT運維管理開放平臺主管張翔眼中,新業務上線週期縮短和移動端應用快速增加是銀行IT系統建設和運維目前面臨的主要挑戰。

    “目前互聯網和移動互聯網發展迅猛。從業務角度來看,銀行希望能快速推出新的業務,並且功能方面也要能快速反覆運算,這與目前激烈的競爭環境有關;而以手機銀行為代表的移動端應用正在快速增長。對銀行IT系統這邊的要求來看就是從開發到運維都要更加地敏捷”。

    “結果是,傳統的瀑布式開發和運維模式已經越來越不適應目前的銀行IT應用環境了。隨著銀行業務的快速變化和增長,銀行對支撐業務的IT基礎架構的管理要 求越來越高。如何保障業務長期穩定、高效的運行,如何能更快地發佈應用,根據客戶業務量進行應用調度,及時甚至預測性地發現、定位、診斷故障對IT運維來 講都是很大的挑戰。事前管理和敏捷管理能力至關重要。”張翔表示。

    智慧運維解決方案助力招商銀行

    運維無小事。像雙十一、618這些互聯網電商促銷日以及春運前後搶票這樣的時點對於IT運維的衝擊是非常大的,需要系統在瞬間提供很好的支撐。而類似的脈衝式交易模式也越來越頻繁,需要銀行做好常態化準備,而運維的事前管理能力與回應速度更是關係著企業運營的命脈。

    其實很多人都非常好奇類似像招商銀行這樣的流量大戶如何平安應對像雙十一和春運搶票這樣的流量洪峰。張翔也介紹了招行在這些傳統交易密集期到來前如何做好IT運維的準備工作。

    首先是做性能容量評估。這需要採集大量的歷史資料。包括平時和過往這個交易量的歷史資料和它的一些增長趨勢。結合交易量的變化來分析可能產生的這種交易量的衝擊。然後運用一些性能分析的工具,得出一些理論值之後,保證系統能夠具備一個相對流量衝擊來說更加彈性的架構,即為可能的流量越線準備出足夠應付的彈性計算、存儲和IO容量。同時還要構建監控系統和一些輔助系統。在高峰期需要即時監測交易洪峰,在某個時點如果是意外出現故障的情況下,需要迅速進行故障隔離和新服務能力的切換。

    基於這一需求,招商銀行使用了IBM智慧運維(IT Operations Analytics – Log Analysis)解決方案, 它可以實現海量日誌的收集、查詢和KPI計算。利用日誌管理模組,可以將相關日誌彙聚進行統一搜索分析,快速定位問題。同時它還可以將非結構性資料(如問 題單,知識庫等)納入分析,不僅加速排除問題,也提升了運維整體效率。除此之外,該解決方案涵蓋的預警模組,將既有的監控KPIs納入了分析,實現了提前 預警,同時也避免了系統中斷,更能夠協助快速找出可能出錯的幾個KPI作為進一步問題溯源的基礎和依據。

    • 通過將預警和日誌分析功能相結合,IBM 智慧運維解決方案幫助招商銀行實現了IT運維的閉環(監控-預警-根源分析-修復),提高了運維的服務品質和價值。而類似駭客攻擊這樣的貌似獨立事件也能 更容易地發現蛛絲馬跡,以便跟蹤排除。使用該解決方案後,招商銀行將問題的查詢時間從20-30分 鐘減少到了20-30秒,加速排除故障, 大幅降低MTTR(問題恢復時間)。

    正是這個整合運維平臺在招行面臨大流量衝擊時能夠更加遊刃有餘,也提升了招商銀行運維管理的水準和能力:系統説明招行從大量的IT基礎架構事件中分離出關 鍵事件,整合與業務關聯的所有基礎架構資訊以及它們之間的關係,加速發現問題、分析問題的過程,實現業務問題的預測和快速診斷。提高了運行部門對業務根源 問題的分析和診斷能力,為業務系統的穩定運行提供了保障。

    IT運維的未來:從自動到主動

    透過IBM智慧運維解決方案, 招商銀行在過去建設的IT運維系統與管理制度的基礎上, 從過去的事中與事後管理, 邁入事前管理的時代, 更積極主動的保護招商銀行的業務生命線。張翔認為,智慧運維是雲環境下不可缺少的能力,也是IT運維未來發展的重要方向。

    張翔透露,招行正在著手通過大資料平臺研究一些運維指標的相關性。通過分析某幾個行為可能會導致另外一個變數的變化,以預測可能的故障。這種預測是不帶假 設條件的,盡可能多的把各個維度的指標採集後歸類處理,基於已知或者未知場景的推導進行分析, 通過預警平臺的自學習與自動建立模型來進行處理。而招行也對IBM的方案寄予了更高的期望。

  • 巴克萊銀行 維運大數據分析 基礎架構保持最佳狀態

    DIGITIMES中文網 2015/06/18-廖于嬋  

    雲端、行動、大數據與社交應用等新興科技帶來豐富商機,卻也為IT維運帶來前所未見的挑戰。基礎架構與應用環境潛藏各種中斷危機,不僅影響使用者體驗,更帶來嚴重商機與商譽損失。運用大數據分析來確保高效率且穩健的維運,已是全球高階IT主管最看重的管理趨勢。

    根據IBM商業價值研究院2014年調查指出,企業對於大數據分析有兩大期待:53%企業將大數據應用於消費者導向的洞察分析,40%則認為大數據能夠協助提升營運效率與可用性。IT維運管理,儼然成為大數據應用的一大主流。

    從現況觀察,這樣的期望並不令人意外:有75%高階資訊主管對傳統維運管理方式感到不滿,且高達30%無法預測潛在當機與服務中斷風險。面對企業內部資訊孤島、工具分散、數據爆量等挑戰,許多IT團隊還找不到適當管理方法,只能被動面對中斷造成的金錢與商譽損失。

    「預防性管理,是企業此刻最迫切需要的;」IBM營運分析產品經理Pandit Prasad指出,「這代表企業IT服務必須具備三項能力—全自動效能臨界值管理、提前預測異常以降低衝擊、分析大量IT維運資料以找到問題根源。」

    擁 有5000部伺服器的大型企業,一天約可產生1.3TB的可用性與性能管理資料,擁有20000部伺服器的跨國企業更達4.5TB之譜,如此巨量的歷史資 料若能被解讀、學習、分析,萃取出最佳化的行為模式與管理智慧,將能有效為企業將低服務中斷風險、提升使用者體驗與忠誠度。

    Pandit Prasad表示,相較於傳統被動回應、手動管理的模式,IBM的IT維運管理採用的是「預測-搜尋-最佳化」循環優化的整合方法論。這套方法論不僅是IBM自身IT維運的智慧結晶,同時也成為全球數千家大型企業面對新時代挑戰的最佳後盾。


    預測:提早預警,防範未然
    Pandit Prasad指出,過去企業對於效能臨界值事件沒有充分回應,而傳統人工管理更是許多服務中斷事件的主因。企業需要一個能夠整合異質平台,透過單一管理界面就能監測所有環境,主動預測異常並提出警告,甚至能夠自動化解決問題的管理工具。

    IBM 所採用的Predict Insight維運預測解決方案,具備先進的行為學習能力,能在短短五天內從歷史資料中學習效能臨界值的管理模式,種動偵測記憶體、磁碟與應用環境的各種 異常,在造成商業損失前就解決問題。IBM更提供本地安裝與雲端交付兩種服務模式,帶來低成本與快速建置的全新選擇。

    媒體鉅子 Consolidated Communications長年難解的效能管理難題,在採用IBM SmartCloud Analytics維運預測工具後迎刃而解,不僅能100%找出包含silent failure在內的所有異常,且所有臨界值設定都自動化控管,每年省下30萬美金的意外成本。


    搜尋:鑑古知今,掌握根因
    IT 維運服務中斷的根因,其實就藏在每天累積的海量日誌資料、事件紀錄、文件與使用手冊中。讀遍、讀懂這些資料,並解析其數據關聯性與模型架構,就能夠分析原 因並找到解方。為此,IBM運用大數據分析技術開發了Log Analysis解決方案,專門解讀IT日誌資料,為IT團隊找答案。

    IBM Log Analysis能分析多來源的維運資料,並提供專家級的建議。其特色是運用Hadoop技術來解析資料,以視覺化儀表板清楚呈現資料背後的意義,支援大 型主機環境,同時更與合作夥伴攜手推出各種分析洞察的自動化套件,以生態體系的力量來提供跨領域專家級解決方案。IBM Log Analysis也提供雲端交付的服務模式,目前已經是Bluemix開發雲上最受歡迎的服務之一。

    英國巴克萊銀行運用Log Analysis建立維運優化的一站式服務,分析客戶群與通路的組成關係,不僅提升維運品質,也帶來深入的客戶洞察。中國招商銀行則是以Log Analysis取代Splunk來蒐集與分析每天400GB的系統資源資料,有效預防前端交易的服務中斷,加速修復時速度。


    最佳化:全自動、高效率的管理模式
    IBM IT維運整合方法論的第三個環節是「最佳化」,以全自動、跨平台的Netcool Operation Insight管理IT資源,提供從端到端的可視性,將整體營運環境的效能與健康度都轉換為視覺化儀表板以利管理決策。

    「根據IBM經驗,最佳化管理可減少30%事件負擔、加速10%修復時間;」Pandit Prasad強調,「IT資源、企業資產與寶貴人力,經最佳化管理後將能發揮最大效益。」

    放 眼業界,IBM是IT維運管理領域投資最多、解決方案最完整、成功經驗最豐富的領導廠商。過去十年來IBM已經投資了170億美金,為客戶帶來營運自動 化、開發管理、內容管理、串流運算、決策管理、內容分析、先進個案管理、workload最佳化系統、社群分析、消費者洞察等完整解決方案,滿足最複雜的 維運需求。

    為了協助企業快速建立先進IT維運管理能力,IBM專業顧問團隊也推出了GTS FastPath快速解決方案,降低時間與成本的進入門檻,三十天就能為企業貢獻價值。「IT挑戰分分秒秒都在發生,對於企業刻不容緩的維運管理需求,我 們感同身受;」Pandit Prasad總結,「IBM的使命,就是要讓企業輕鬆駕馭IT維運、在新興科技的時代搶得先機。」