監(jiān)控數(shù)據(jù)的存儲是由historysyncer進程負責寫入數(shù)據(jù)庫,,historysyncer進程應對大流量數(shù)據(jù)的方式是,,一方面通過批量插入來提高寫庫的效率,,另一方面通過多進程的方式來擴展數(shù)據(jù)處理能力,。在寫庫過程中,歷史數(shù)據(jù)寫入history表,,即使數(shù)據(jù)變?yōu)槔鋽?shù)據(jù)也需要留在history表中供前端UI訪問,。趨勢數(shù)據(jù)寫入trends表,,相較于歷史數(shù)據(jù),趨勢數(shù)據(jù)的寫庫負載要低的多,,是因為對于每個監(jiān)控項來說,,平均每小時只需要寫庫一次,其他時間只需要更新趨勢緩存,,不需要寫庫,。在historysyncer進程的觸發(fā)器計算階段,主要訪問值緩存,,但是如果值緩存不能命中則需要查詢history表,,這種情況下就需要使用history表索引了??紤]索引對insert操作的影響,,索引在提高查詢速度的同時也降低了寫入性能。觸發(fā)器計算之后生成的event信息也需要寫入數(shù)據(jù)庫,,這些信息存儲在events表,、problem、escalation等表中,。因此,,這些表的數(shù)據(jù)增長率取決于Zabbix生成的事件的數(shù)量,當事件數(shù)量陡增時,,這些表的寫入壓力也會隨之增加,。在數(shù)據(jù)存儲方面主要體現(xiàn)了熱數(shù)據(jù)和冷數(shù)據(jù)的轉(zhuǎn)換過程以及數(shù)據(jù)規(guī)模對讀寫性能的影響。根據(jù)需要部署盡可能多的Zabbix前端節(jié)點,,不要忘記正確配置外部地址,,以便Zabbix前端能連接到Zabbix服務器。zabbix模板
對于大部分監(jiān)控項而言,,隨著時間流逝,監(jiān)控數(shù)據(jù)會快速地脫離Zabbix server的使用范圍,,進入冷數(shù)據(jù)區(qū),。雖然冷數(shù)據(jù)脫離了Zabbix server的使用范圍,但是Zabbix仍然不能對冷數(shù)據(jù)進行離線化,,因為前端UI和網(wǎng)絡API需要訪問這些冷數(shù)據(jù),,這些訪問一般***于少量監(jiān)控項的讀取。從Zabbix server的角度來說,,對于任一特定監(jiān)控項,,數(shù)據(jù)的熱區(qū)和冷區(qū)分界線是固定的,并且熱區(qū)的數(shù)據(jù)量相對于冷數(shù)據(jù)要小得多,。如果使用mysql來存儲監(jiān)控數(shù)據(jù),,由于索引的存在,,數(shù)據(jù)的寫入性能會隨著存儲規(guī)模的增加而降低,查詢性能也是一樣,。因此,,控制數(shù)據(jù)規(guī)模成為解決數(shù)據(jù)庫訪問性能的關鍵。如果將熱數(shù)據(jù)和冷數(shù)據(jù)分開存儲,,并且在需要時讓數(shù)據(jù)在兩者之間進行流動,,則對于Zabbix server而言,可以**降低數(shù)據(jù)規(guī)模,。如果進一步考慮如何實現(xiàn)熱數(shù)據(jù)表的**小化,,就需要建立一種動態(tài)機制,每次修改觸發(fā)器表達式后按照觸發(fā)器的數(shù)據(jù)需求量在冷熱數(shù)據(jù)之間進行雙向調(diào)整,。本地zabbix互惠互利集群節(jié)點發(fā)送到數(shù)據(jù)庫后端的心跳是非常小的消息,,記錄在一個較小的Zabbix數(shù)據(jù)庫表中,故性能影響忽略不計,。
下面看一下元數(shù)據(jù)對數(shù)據(jù)處理效率的影響,。元數(shù)據(jù)位于共享內(nèi)存中,包含監(jiān)控項,、主機,、觸發(fā)器、接口等所有必要的信息,,這些信息分別存儲在很多個哈希表結(jié)構(gòu)中,。這些信息供幾乎所有Zabbix進程使用,在Zabbixserver端,,無論是數(shù)據(jù)接收階段,、預處理階段、數(shù)據(jù)計算階段都離不開對元數(shù)據(jù)的訪問,。此外,,元數(shù)據(jù)還需要通過configurationsyncer進程進行定期數(shù)據(jù)同步,目的是將數(shù)據(jù)庫中所作的修改同步到緩存中,。當在同步過程中需要修改元數(shù)據(jù),,configurationsyncer進程會對面臨一個較大的挑戰(zhàn),就是與其他進程的協(xié)調(diào),??紤]到大部分進程只是讀取元數(shù)據(jù),而不會進行寫操作,,Zabbix選擇使用讀寫鎖來協(xié)調(diào)所有進程對元數(shù)據(jù)的訪問,,從而允許多個進程同時讀取元數(shù)據(jù)。
Prometheus有一個簡單的可視化工具,,稱為ExpressionBrowser,。表達式瀏覽器不具備完整監(jiān)控面板的功能,。可以使用它對存儲的指標進行深入查詢,。但不會展示需要長時間觀看的指標,。它就像一個探索控制臺,只能查詢數(shù)據(jù)庫,、動態(tài)更改查詢并找出問題的答案,。為了能夠充分展示和分析指標的圖表化,需要安裝一個成熟的可視化工具,,例如Grafana,。Grafana包含對Prometheus的內(nèi)置支持,而且它是**的,。所以,,一般客戶環(huán)境中,都是這兩種工具搭配使用,。
Zabbix 包含一個本地 Web 界面,,該界面提供具有靈活設置的儀表板。無需安裝或配置任何其他內(nèi)容,。Zabbix 的 Web 界面提供了多種方式來呈現(xiàn) IT 環(huán)境可視化概覽:基于小部件的儀表板,、圖表、網(wǎng)絡地圖,、幻燈片,、向下鉆取。默認情況下,,Zabbix 前端提供了幾個預定義的主題,。此外,用戶可以創(chuàng)建自己的主題,。 zabbix監(jiān)控數(shù)據(jù)的單獨性—邏輯視角,!
Zabbix是一款可監(jiān)控網(wǎng)絡的眾多參數(shù)以及服務器、虛擬機,、應用程序,、服務、數(shù)據(jù)庫,、網(wǎng)站、云等的健康狀況和完整性,。Zabbix使用靈活的通知機制,,允許用戶為幾乎任何事件配置基于電子郵件的警報。這允許對服務器問題做出快速反應,。Zabbix基于存儲的數(shù)據(jù)提供報告和數(shù)據(jù)可視化功能,。這使得Zabbix成為容量規(guī)劃的理想選擇,。Zabbix是一款能夠監(jiān)控各種網(wǎng)絡參數(shù)以及服務器健康性和完整性的軟件。Zabbix使用靈活的通知機制,,允許用戶為幾乎任何事件配置基于郵件的告警,。這樣可以快速反饋服務器的問題?;谝汛鎯Φ臄?shù)據(jù),,Zabbix提供了出色的報告和數(shù)據(jù)可視化功能。集中化監(jiān)控工具zabbix的安裝配置,。zabbix模板
zabbix數(shù)據(jù)結(jié)構(gòu)設計—解決處理速度問題,。zabbix模板
Q:老師,請教個問題,,zabbix通過自動發(fā)現(xiàn)掃描網(wǎng)段,,然后添加主機,有沒有什么辦法區(qū)分路由器或者交換機類型的方法,,這樣才能把交換機模板或者路由器模板掛給對應的主機
A:不多的話,,批量加2次模板就行了
Q:后續(xù)上線網(wǎng)絡設備后,如果我們組之間溝通不協(xié)調(diào),,監(jiān)控會有一些誤差或者遺漏,,想減少人工去介入
A:可以找一下類型的oid。然后匹配交換機和路由器的字段套上對應的模板
Q:老師,,沒有網(wǎng)絡設備類型通用的oid吧
A:主機名oid應該是通用的,,華為和華三、cisco的mib比較通用A:cisco進入特權(quán)模式有條命令showsnmp-serveroidlist,??梢钥吹皆O備的oid的列表。前面是描述,,后面是對應的oid,,華三和華為應該也是有對應的命令,具體可能需要問下客服
Q:好的,,我去試試ciscoQ:那要想做全自動呢,?
A:全自動的話,一般這邊是通過型號的oid,,提取到型號的關鍵字,,cisco字眼的的就套cisco模板,華為就套華為的模板,,華三的就套華三的模板
Q:嗯嗯,,這種方法我們想過,只要拿到所有設備的型號,在自動發(fā)現(xiàn)的時候就可以通過型號區(qū)分是交換機還是路由器,,感覺太復雜,,想要更簡單的做法。 zabbix模板
上海觀縱科技有限公司位于上海市奉賢區(qū)望園南路1288弄80號1904,、1909室,,是一家專業(yè)的一般項目:技術(shù)服務、技術(shù)開發(fā),、技術(shù)咨詢,、技術(shù)交流、技術(shù)轉(zhuǎn)讓,、技術(shù)推廣;軟件開發(fā);人工智能基礎軟件開發(fā);人工智能應用軟件開發(fā);數(shù)據(jù)處理服務;信息技術(shù)咨詢服務;信息系統(tǒng)集成服務:信息系統(tǒng)運行維護服務;計算機系統(tǒng)服務;軟件銷售;計算機軟硬件及輔助設備批發(fā);計算機軟硬件及輔助設備零售;電子產(chǎn)品銷售;通信設備銷售;通訊設備銷售;咨詢策劃服務;市場調(diào)查(不含涉外調(diào)查);廣告制作;廣告發(fā)布;廣告設計,、代理;會議及展覽服務;貨物進出口。(除依法須經(jīng)批準的項目外,,憑營業(yè)執(zhí)照依法自主開展經(jīng)營活動) 許可項目:建筑智能化系統(tǒng)設計;建設工程施工;網(wǎng)絡文化經(jīng)營;互聯(lián)網(wǎng)信息服務,。(依法須經(jīng)批準的項目,經(jīng)相關部門批準后方可開展經(jīng)營活動,,具體經(jīng)營項目以相關部門批準文件或許可證件為準)公司,。致力于創(chuàng)造***的產(chǎn)品與服務,以誠信,、敬業(yè),、進取為宗旨,以建webfunny,walkingfunny,argus產(chǎn)品為目標,,努力打造成為同行業(yè)中具有影響力的企業(yè),。公司堅持以客戶為中心、一般項目:技術(shù)服務,、技術(shù)開發(fā),、技術(shù)咨詢、技術(shù)交流,、技術(shù)轉(zhuǎn)讓,、技術(shù)推廣;軟件開發(fā);人工智能基礎軟件開發(fā);人工智能應用軟件開發(fā);數(shù)據(jù)處理服務;信息技術(shù)咨詢服務;信息系統(tǒng)集成服務:信息系統(tǒng)運行維護服務;計算機系統(tǒng)服務;軟件銷售;計算機軟硬件及輔助設備批發(fā);計算機軟硬件及輔助設備零售;電子產(chǎn)品銷售;通信設備銷售;通訊設備銷售;咨詢策劃服務;市場調(diào)查(不含涉外調(diào)查);廣告制作;廣告發(fā)布;廣告設計、代理;會議及展覽服務;貨物進出口,。(除依法須經(jīng)批準的項目外,,憑營業(yè)執(zhí)照依法自主開展經(jīng)營活動) 許可項目:建筑智能化系統(tǒng)設計;建設工程施工;網(wǎng)絡文化經(jīng)營;互聯(lián)網(wǎng)信息服務。(依法須經(jīng)批準的項目,,經(jīng)相關部門批準后方可開展經(jīng)營活動,,具體經(jīng)營項目以相關部門批準文件或許可證件為準)市場為導向,重信譽,,保質(zhì)量,,想客戶之所想,急用戶之所急,全力以赴滿足客戶的一切需要,。自公司成立以來,一直秉承“以質(zhì)量求生存,,以信譽求發(fā)展”的經(jīng)營理念,,始終堅持以客戶的需求和滿意為重點,為客戶提供良好的webfunny前端監(jiān)控,,webfunny前端埋點,,全鏈路應用性能監(jiān)控,Argus-IT運維監(jiān)控,,從而使公司不斷發(fā)展壯大,。