Prometheus作為一款領先的開源監控系統和時序數據庫（TSDB），其核心優勢在于高效的時序數據處理和可靠的存儲能力。其磁盤中的存儲結構經過精心設計，以支持高性能的寫入、查詢和數據壓縮，而其背后的數據處理和存儲支持服務則確保了系統的穩定性和可擴展性。

一、Prometheus的磁盤存儲結構

Prometheus的本地存儲并非簡單的數據庫，而是一個高度優化的、針對時間序列數據特點設計的結構。其核心思想是將時間序列數據（指標+標簽集合）與時間戳-值數據點分開存儲，并采用分塊（Chunk）和分區（Block）的機制來管理數據。

1. 核心目錄結構：

• ./wal (Write-Ahead Log, 預寫日志目錄)：這是數據寫入的第一站。為了確保數據在發生崩潰時不丟失，Prometheus先將接收到的數據點以追加日志的形式快速寫入WAL文件。WAL文件是順序寫入的，性能極高。這些文件默認每128MB或2小時后滾動（可配置），并保留一定時間（默認2小時）以供恢復使用。

• ./chunks_head：存儲當前正在寫入的內存中數據塊（Head Block）持久化后的“頭塊”數據。這是最近時間范圍（通常為2小時）的數據。

• ./data (主數據目錄)：存儲已壓縮和合并的持久化數據塊（Persistent Block）。這是存儲結構的核心。

2. 數據塊（Block）結構：
在./data目錄下，每個子目錄（如01BKGTZQ1HH...）代表一個獨立的數據塊。每個塊包含一個固定時間范圍內的數據（默認為2小時，但壓縮合并后會變大）。一個標準塊包含以下文件：

• meta.json：塊的元數據，包含時間范圍、統計信息、數據來源等。

• chunks 目錄：包含多個000001、000002等文件，是實際存儲壓縮后時序數據點的索引序列（chunks）。每個chunk包含一段時間內某個特定時間序列的多個數據點，并采用高效的壓縮算法（如Gorilla變體、XOR壓縮）。

• index：倒排索引文件。這是查詢性能的關鍵。它將指標名稱（metric name）和標簽（label）映射到存儲在chunks目錄中的具體數據序列和位置。通過高效的索引結構，Prometheus可以快速定位到滿足標簽選擇器（Label Selector）的所有時間序列。

• tombstones：用于存儲塊內已被刪除數據的標記信息，以便在壓縮時真正移除數據。

1. 數據生命周期與壓縮：

• 內存（Head Block）：最新數據首先寫入內存中的Head Block。

• 持久化：Head Block達到一定大小或時間后，會作為一個塊被寫入./data目錄，成為一個2小時的持久塊。WAL中對應的日志可以被清理。

• 壓縮（Compaction）：后臺的壓縮進程會定期將多個小的、連續的持久塊（如多個2小時塊）合并成更大的塊（如8小時、32小時塊）。這個過程會：

• 合并索引，減少索引體積。

• 進一步壓縮chunk中的數據。

• 清理被標記刪除的數據（tombstones）。

• 通過去重和整理，顯著提升長期數據（如幾周或幾個月）的查詢效率和存儲密度。

二、數據處理和存儲支持服務

Prometheus不僅是一個存儲引擎，更是一個完整的監控系統，其數據處理和存儲功能由一系列內部服務和支持組件協同完成。

1. 數據攝取與WAL服務：

• Scrape（抓取）和Remote Write（遠程寫入）組件將數據推入TSDB。

• TSDB的寫入接口首先將數據點追加到內存中的Head Block，并同步寫入WAL文件，確保數據持久性。

1. 內存管理與Head Block：

• Head Block在內存中管理最近的數據，提供對最新數據的超低延遲查詢。

• 內存中維護著活躍時間序列的映射和引用，避免頻繁的磁盤索引查找。

1. 后臺壓縮服務：

• 這是一個關鍵的守護進程，負責執行塊（Block）的壓縮和合并任務。它根據配置的策略，將多個小塊合并成大塊，優化長期存儲。壓縮是自動進行的，對前臺查詢和寫入影響很小。

1. 查詢處理引擎：

• 當執行PromQL查詢時，查詢引擎會：

• 解析查詢語句。

• 根據標簽匹配器（Label Matchers）查詢index文件，定位到相關的時間序列ID。

• 根據時間范圍，從相應的塊（可能是內存中的Head Block或磁盤上的多個持久塊）的chunks中加載和解壓數據點。

• 在內存中進行計算（如聚合、運算），并返回結果。

1. 數據保留與刪除：

• Prometheus根據配置的--storage.tsdb.retention.time（保留時間）自動清理過期數據塊。

• 通過API或刪除規則（tombstones）可以主動刪除特定時間范圍內的數據。

1. 高可用與遠程存儲支持：

• 雖然Prometheus默認是單節點本地存儲，但它通過Remote Read/Write API提供了與遠程存儲（如Thanos、Cortex、M3DB、OpenTSDB等）集成的能力。這解決了其本地存儲的長期擴展性和全局視圖問題。遠程存儲服務可以作為其存儲層的延伸。

###

Prometheus的磁盤存儲結構巧妙地平衡了寫入性能、查詢效率和存儲成本。其基于塊（Block）和倒排索引（Index）的設計，配合WAL保障數據安全，通過后臺壓縮持續優化存儲，形成了一個高度自洽的體系。而其內部的數據處理服務（如壓縮引擎、查詢引擎）則像精密的齒輪，驅動著這個體系高效運轉。理解這些底層機制，對于運維大規模Prometheus集群、進行性能調優和故障排查至關重要。