£200 買台資料中心 GPU 裝進遊戲 PC:Tesla V100 跑本地 LLM 實測
blog.tymscar.com · 2026-05-31
工程師 tymscar 以 £150 從 eBay 買入一張 Tesla V100 SXM2(16GB HBM2),再加 £50 的 SXM2-to-PCIe 轉接板,總共 £200 在自己的遊戲 PC 上湊成 32GB VRAM 的雙 GPU 配置,用來跑 Qwen 3.6-27B 本地語言模型,並把整個過程、踩坑細節與效能數字公開在部落格上。此文在 Hacker News 與 Lobste.rs 的總討論串超過 150 則留言。
硬體挑戰:82 分貝的冷卻問題
SXM2 格式原本設計給伺服器機櫃,沒有原生 PCIe 插槽,轉接板帶有一顆風扇,啟動時轉速達到 82 分貝——相當於割草機的音量。解決方式是用自製轉接線把風扇的 PWM 信號接到主機板,以軟體控制把轉速壓到 10%,溫度仍維持在安全範圍內。
驅動相容性:NixOS 的繁瑣優勢
V100 需要舊版 NVIDIA 驅動(版本 535),限制 Linux kernel 最高為 6.6,CUDA 為 12.2。作者使用 NixOS 以聲明式配置同時管理這兩個版本限制,避免在滾動更新的發行版上手動 pin 驅動。此外,V100 的 SM 架構(Volta,compute capability 7.0)與現代 consumer GPU 相比,CUDA kernel 支援度和記憶體頻寬有所不同,需對 llama.cpp 的量化和 batch 設定做調整。
效能結果
- 模型:Qwen 3.6-27B(Q4 量化)
- 推理速度:~32 tok/s(generation)
- Prefill 速度:~133–160 tok/s
- Context window:128k token(含 vision)
作者認為這個配置在實際使用上與 Claude Sonnet 4.6 等雲端 API 水準相當,且沒有 API 費用、沒有資料隱私問題。主要缺點是 HBM2 的頻寬使 generation 速度受限,且 V100 在中古市場的供應量隨資料中心折舊週期浮動,未必每個時間點都能以相同價格買到。
原始來源:blog.tymscar.com
Zig 作者談 assert 哲學:斷言失敗必須終止,永遠不應繼續執行
kristoff.it · 2026-05-30
Zig 語言設計者 Loris Cro 在個人部落格發表文章,主張 assert 的唯一正確語意是「條件為假時立即終止程式」,反對任何在斷言失敗後繼續執行的實作,並以 Zig 的設計決策為例說明為何這個立場不應有例外。此文在 Lobste.rs 引發 36 則技術討論,涵蓋 C、Rust、Python、Java 各語言的 assert 行為差異。
論點核心
Cro 的立場建立在以下推理鏈:assert 的目的是驗證不應發生的情況;一旦此情況發生,程式已進入未定義的邏輯狀態,繼續執行的所有後果都不可信。繼續執行不會產生「部分正確」的結果,只會產生損壞更難察覺的資料、看似成功但實際錯誤的操作,或更難偵測的狀態腐化。
他特別批評兩種常見的「軟性 assert」模式:
- 紀錄錯誤後繼續(
if (!cond) { log.warn(...); return; }):讓呼叫端以為操作成功,實際上跳過了關鍵邏輯 - 測試框架中的軟性斷言(收集所有失敗後統一報告):雖然在測試領域有其用途,但不應混入生產程式碼
Zig 的實作選擇
Zig 的 std.debug.assert 在 Debug 和 ReleaseSafe 模式下,斷言失敗觸發 unreachable → @panic,產生帶有 stack trace 的程式終止。在 ReleaseFast 和 ReleaseSmall 模式下,斷言被視為 undefined behavior(允許編譯器假設斷言永遠為真做最佳化),而非靜默忽略。
這個設計的邏輯是:若程式設計師宣稱某條件「不可能為假」,最佳化版本完全信任這個宣稱是合理的——真正的程式品質來自讓 Debug 模式的斷言在開發和 CI 中充分執行。
跨語言比較
Python 的 assert 在 -O 最佳化旗標下被完全移除,Java 的 assert 預設停用,C 的 assert 在 NDEBUG 時同樣消失——這些設計讓「assert 失敗後繼續」的模式得以隱性存在。Cro 認為這些語言的 assert 設計製造了一種安全感幻覺,鼓勵程式設計師依賴實際上在生產環境中不存在的保護。
原始來源:kristoff.it
AV2 v1.0.0 規格發布:開放視訊編解碼器的下一代(本週工程社群話題)
Alliance for Open Media · 2026-05-28
AOMedia 發布 AV2 v1.0.0 規格在 Lobste.rs 引發社群熱議(42 分,標籤:graphics、release)。討論的焦點不在規格本身的功能清單,而集中在「一個硬體生態還沒跟上的 v1.0 規格意味著什麼?」以及開放編解碼器生態的政治學。
Lobste.rs 討論中的技術爭點
幾個有代表性的討論方向:
- 「v1.0 但沒有實用的 encoder 速度」:AVM 參考實作比 libaom 的早期版本還慢。類比是 AV1 v1.0 發布後到 SVT-AV1 和 libaom 可用花了三年——AV2 的硬體加速普及預計比 AV1 更久,因為 AV1 已大規模部署,廠商升級動力更低
- HEVC/H.265 的授權噩夢使 AV1 起飛:AV2 的同樣論點在瀏覽器端(Google Chrome、Mozilla Firefox 主導 AOMedia)仍然成立,但在電視和手機 SoC 端,Qualcomm 和 MediaTek 已有 AV1 硬解,不一定急著加 AV2
- AR/VR 才是驅動力:Meta(Quest)和 Apple 均為 AOMedia 成員,這些廠商的頭顯設備可能比傳統顯示器更早出現 AV2 硬解,因為其視訊使用場景(360° streaming)恰好是 AV2 的優化目標
技術社群的共識是:AV2 是值得存在的規格,但「1.0」的心理門檻高於實際可用門檻,2026 年更適合視為研究與合規性測試的起點,而非部署時間表的起始點。