一次驚險的Java 記憶體洩漏排查日誌

Advertisements

前些日子小組內安排值班,輪流看顧我們的服務,主要做一些報警郵件處理、Bug 排查、運營 issue 處理的事。 工作日還好,無論幹什麼都要上班的,若是輪到週末,那這一天算是毀了。

不知道是公司網路廣了就這程,好幾次值班組的小夥伴們一起吐槽,商量著怎麼避過服務保活機制,偷偷停了探測服務而不讓人發現(雖然也並不敢)。

前些天我就在周末處理了一次探測服務的鍋。

網路問題?

日本藤素官網 日本藤素藥局 日本藤素屈臣氏 日本藤素推薦日本藤素種類 japan tengsu

日本藤素有哪些 日本藤素多少錢 日本藤素如何選 日本藤素故事 日本藤素是什麼 日本藤素防偽碼日本藤素實體店

晚上七點多開始,我就開始不停地收到報警郵件,郵件顯示探測的幾個介面有超時情況。 多數執行棧都在:

這個線程棧的報錯我見得多了,我們設置的 HTTP DNS 超時是 1s, connect 超時是 2s, read 超時是 3s,這種報錯都是探測服務正常發送了 HTTP 請求,伺服器也在收到請求正常處理后正常回應了,但數據包在網路層層轉發中丟失了,所以請求線程的執行棧會停留在獲取介面回應的地方。 這種情況的典型特徵就是能在伺服器上查找到對應的日誌記錄。 而且日誌會顯示伺服器回應完全正常。 與它相對的還有線程棧停留在Socket connect 處的,這是在建連時就失敗了,服務端完全無感知。

我注意到其中一個介面報錯更頻繁一些,這個介面需要上傳一個 4M 的檔到伺服器,然後經過一連串的業務邏輯處理,再返回 2M 的文本數據,而其他的介面則是簡單的業務邏輯,我猜測可能是需要上傳下載的數據太多,所以超時導致丟包的概率也更大吧。

根據這個猜想,群登上伺服器,使用請求的 request_id 在近期服務日誌中搜索一下,果不其然,就是網路丟包問題導致的介面超時了。

當然這樣 leader 是不會滿意的,這個結論還得有人接鍋才行。 於是趕緊聯繫運維和網路組,向他們確認一下當時的網路狀態。 網路組同學回復說是我們探測服務所在機房的交換機老舊,存在未知的轉發瓶頸,正在優化,這讓我更放心了,於是在部門群裡簡單交待一下,算是完成任務

本以為這次值班就起這麼一個小波浪,結果在晚上八點多,各種介面的報警郵件蜂擁而至,打得準備收拾東西過周日單休的我措手不及。

日本藤素效果 日本藤素藥效 日本藤素作用 日本藤素吃法 日本藤素療程 日本藤素用法

日本藤素劑量日本藤素心得 日本藤素評價 日本藤素ptt 

這次幾乎所有的介面都在超時,而我們那個大量網路 I/O 的介面則是每次探測必超時,難道是整個機房故障了么。

我再次通過伺服器和監控看到各個介面的指標都很正常,自己測試了下介面也完全OK,既然不影響線上服務,我準備先通過探測服務的介面把探測任務停掉再慢慢排查。於是趕快登錄探測伺服器,首先是三連,結果還真發現了些異常。 top free

我們的探測進程 CPU 佔用率特別高,達到了 900%。

我們的 Java 進程,並不做大量 CPU 運算,正常情況下,CPU 應該在 100~200% 之間,出現這種 CPU 飆升的情況,要麼走到了死迴圈,要麼就是在做大量的 GC。

使用命令查看了java進程的 GC 狀態,果然,FULL GC 達到了每秒一次

大家都在玩的社團☞萌宠世界☜加入社團和大家一起交流

Advertisements