大型高并發網站的日志架構是什么樣子一般存儲哪些數據?
一、大型高并發網站的日志架構是什么樣子一般存儲哪些數據
簡單介紹一下,主要思路就是把寫的log文件通過logstesh 格式化然后存到 Elasticsearch 里面,這樣多個節點產生的日志就可以統一集中管理了。而且還能快速全文檢索,搜索到你需要的信息。
至于日志要記錄什么,當然跟業務邏輯有關系了,不能泛泛而論吧。
比如一些函數的運行條件啊,輸入檢查啊,但是這只是開發拍錯方面的。
還可以做一些有意義的統計數據,用這個elasticsearch 配合ELK 提供的dashboard,還可以做報表,用來吹逼KPI。 比如日志可以記錄用戶的訪問時間,ip,等等信息,那你很容易就可以做一個報表來說明這個月的流量比上個月增長了多少,這個記錄可以細化到模塊,那你自己開發的模塊貢獻了主要的流量增長那不就可以吹逼KPI了么,這就是所謂數據挖掘了,elasticsearch還可以配合hadoop之類的使用,說到這里大家應該知道怎么繼續科學裝逼了吧。
基于這個還能做更多有想象力的事兒,主要是集中管理大量node上產生的日志帶來的好處。另外logstesh支持多種input,你也可以自己給它寫input plugin,所以日志產生其實就很隨性了,第三方庫非標準化的日志也可以輕松的納入進來給format成標準化日志。
進一步的,如果你的應用夠大型,這個elk stack也可以搞成一個云服務嘛,所有的應用都可以接入,進而你會有更科學的裝逼姿勢。
延伸閱讀:
二、字符集(Character set)是什么
是多個字符(英文字符,漢字字符,或者其他國家語言字符)的集合,字符集種類較多,每個字符集包含的字符個數不同。
特點:
①字符編碼方式是用一個或多個字節表示字符集中的一個字符
②每種字符集都有自己特有的編碼方式,因此同一個字符,在不同字符集的編碼方式下,會產生不同的二進制
常見字符集:
ASCII字符集:基于羅馬字母表的一套字符集,它采用1個字節的低7位表示字符,高位始終為0。
LATIN1字符集:相對于ASCII字符集做了擴展,仍然使用一個字節表示字符,但啟用了高位,擴展了字符集的表示范圍。
GBK字符集:支持中文,字符有一字節編碼和兩字節編碼方式。
UTF8字符集:Unicode字符集的一種,是計算機科學領域里的一項業界標準,支持了所有國家的文字字符,utf8采用1-4個字節表示字符。

猜你喜歡LIKE
相關推薦HOT
更多>>
format_map與format字符串格式化的區別是什么?
一、數據輸入形式1、format: 主要接受位置或關鍵字參數。"Hello, {0}".format("world")2、format_map: 接受一個字典作為輸入。"Hello, {name}"....詳情>>
2023-10-16 17:26:04
有效的項目變更管理,能夠減少哪些對項目的影響?
1、時間延遲的減少適時評估:變更請求提出后及時評估其對項目進度的影響有效調整:根據評估結果調整工作計劃和資源分配控制范圍:通過對變更范...詳情>>
2023-10-16 17:07:04
站在軟件開發的角度如何做bug分類管理?
一、收集BUG信息在軟件開發過程中,及時收集BUG信息至關重要。測試團隊應該在發現BUG后,立即記錄和收集相關信息,包括BUG的描述、復現步驟、嚴...詳情>>
2023-10-16 13:06:03
單片機有什么用?
一、嵌入式系統單片機作為嵌入式系統的核心,廣泛應用于家電、智能設備、工業控制等領域。在家電中,單片機能夠控制洗衣機、冰箱、微波爐等家用...詳情>>
2023-10-16 12:24:41熱門推薦
format_map與format字符串格式化的區別是什么?
沸有效的項目變更管理,能夠減少哪些對項目的影響?
熱編程語言為什么要區分表達式(expression)和語句(statement)?
熱軟件測試的作用是什么?
新windows編程,MFC編程,C語言編程,三者有什么關系?
客戶管理軟件目前的角色權限有哪些?
深度網絡模型調試性能的重要經驗有哪些?
什么是7S管理?
Mysql索引為什么要用B+Tree實現?
MySQL的普通索引和少數索引有什么區別?
運維客戶端工具和JumpServer有什么區別?
什么是靜態IP、動態IP和PPPOE撥號?
在軟件測試中,如何有效地跟蹤和管理缺陷?
站在軟件開發的角度如何做bug分類管理?
技術干貨






