Kaze 產品日誌 (二)：串流媒體下載的底層挑戰 —— HLS 與 DASH 的碎片化、離線化與容錯實踐

在 Dan Downloader 的時代，下載是一件相對單純的事：給出一個 URL，請求一個 Content-Length，然後按照 Offset 把位元流填進檔案裡。這是一種線性的、可預測的過程。

但現代串流協議（HLS/DASH）的普及，徹底改寫了這個規則。下載器不再只是一個搬運工，它必須變身為一個具備媒體感知能力的「虛擬播放器」。

線上播放與離線下載：不同的戰場，不同的難點

很多人會問：既然瀏覽器就能播放 HLS，下載不就是把播放器請求過的片段存起來嗎？事實上，這兩者在工程上面臨的挑戰不太一樣。

線上播放（Online Streaming） 的核心目標是「流暢度（Liveness）」。當網路波動時，播放器可以選擇降低位元率（ABR），或者跳過損壞的片段。對用戶來說，畫面卡頓一秒或解析度稍微下降是可以接受的，只要戲還能演下去。

但 離線下載（Offline Downloading） 的核心目標是「完整性（Integrity）」。用戶預期的是一個完美的、高畫質的檔案。我們不能因為某個片段下載失敗就「跳過去」，因為那會導致最終合併的檔案在播放時出現嚴重的影音爆音（Pop noise） or 畫面破碎。下載器必須在不穩定的網路環境中，達成比播放器更高的容錯與恢復能力。

碎片化的 Manifest：從線性檔案到動態結構

當你現在點開一個影片，伺服器不再是直接傳輸一個巨大的 .mp4。相反地，它會先給你一個清單檔案（Manifest），例如 HLS 的 .m3u8 或 DASH 的 .mpd。

這個清單背後可能是數百甚至上千個只有幾秒鐘的小片段（Segments）。這種設計讓下載器必須處理：

解析與精準對位：我們與需要從多層級的 Master Playlist 中識別出正確的解析度。更複雜的是，有些網站會將影片與音軌（Audio Track）完全分離。這意味著我們必須並行下載兩組清單，並在最後階段進行精準的時戳對齊（Timestamp Alignment），否則就會出現影音不同步。
模擬行為的必要性：現代串流媒體幾乎都有嚴格的防盜鏈機制。這也是為什麼 Kaze 需要透過 Browser Extension 來輔助抓取。下載引擎必須完美模擬當時瀏覽器的請求環境，包括動態生成的 Cookie、Referer 甚至是特定的自定義 Headers。只要有一個參數不對，伺服器回傳 403 Forbidden 只是基本，嚴重時甚至會直接封鎖 IP。

下載器最怕的「離線場景」：容錯與穩健性(Robustness)

進入真正的下載環節後，才是挑戰的開始。與播放器播完就丟的特性不同，下載器需要處理更長期的、與硬體緊密相關的負面情境。

1. 分片丟失與損壞

在數千個片段的併發請求中，必然會遇到超時、連接重置或 50x 錯誤。Kaze 需要建立一套精密的重試機制（Retry Strategy）。我們不能無腦重試，而是要區分「可恢復錯誤」與「永久性失效」。更麻煩的是「損壞的片段」：有些片段下載完成了，但其內部的媒體頭部（Header）已損壞，這需要我們在寫入硬碟前進行基本的格式校驗。

2. 硬碟空間與檔案移動

下載大容量影片（特別是 4K 資源）時，硬碟空間不足是常見的崩潰點。舊架構往往在合併到一半時才發現磁碟爆滿，導致之前的下載全部前功盡棄。在 Kaze 2的重構版中，我們引入了更早期的空間預估與寫入監控。同時，我們還要處理用戶在下載過程中移動暫存目錄、更換外接硬碟等非典型操作，確保下載任務能夠在目錄恢復後無縫續傳。

3. 編碼方式的不支援（Codec Incompatibility）

並非所有合併起來的影片都能在你的電腦上順利播放。有些 HLS 串流採用了較新的編碼格式，或者在 Master Playlist 中定義了複雜的 Codec Profile。如果合併邏輯不夠聰明，產出的 .mp4 容器可能無法正確標註這些串流，導致用戶下載完後發現「有聲音沒畫面」或播放器顯示「不支援的格式」。這要求下載引擎必須具備初步的媒體探測能力（Probing）。

技術底層的重生：Rust 的介入

在處理這些離線場景時，舊有的 Objective-C 架構常會遇到記憶體管理與 I/O 競爭的瓶頸。

在 Kaze 2中，我們利用了 Rust 的併發模型，將這數千個片段的抓取、格式校驗、解密與合併流水線化（Pipelining）。Rust 的型別系統確保了我們在處理複雜的流狀態時不會出現數據競態（Data Race），這在頻繁處理硬碟寫入與分片重試時至關重要。

寫在最後

從線性下載到理解串流媒體，再到解決各種極端的離線存儲問題，Kaze 的開發歷程更像是在打一場關於「穩定性」的持久戰。我們追求的不僅是下載速度，更是在各種惡劣環境下，依然能帶給用戶一個完整、高品質的檔案。

下一篇日誌，我會聊聊那個讓 Extension 與 App 的通訊，以及我們如何透過 Rule Engine 識破那些隱藏在網頁深處的連結。

探索 Kaze 2： 如果你對我們正在開發的下載技術感興趣，歡迎前往 Kaze 產品頁面了解更多細節並支持我們的 Side Project。