AI（人工智能）繼續席捲全球，無論是個人還是企業都使用AI應用，惟背後驅動AI的是GPU的強大運算能力，坊間打趣說，就連NVIDIA行政總裁黃仁勳都難以取得GPU貨源，可見其短缺情況。近日Red Hat 就推出新解決方案，可以最高提升GPU效能24倍。
現時大家普遍使用的AI，如ChatGPT、Grok、DeepSeek等，其實背後都使用了不少運算資源，隨著AI模型複雜度增加，AI模型推理過程會耗費大量GPU資源，令回應速度變慢，營運成本亦上升。
有見及此，Red Hat推出AI推理伺服器（Red Hat AI Inference Server）解決方案，整合vLLM與Neural Magic技術，提升GPU運算效能，並兼容多種AI模型。Red Hat 香港、澳門及台灣方案工程總監羅國柱（Albert）坦言，當前GPU採購難度甚高，企業要同時提升投資回報率（ROI），必須釋放GPU效能。新方案以容器（container）技術為基礎，羅解釋，新方案將預訓練模型轉化為實際應用成果，可節省75%的資源，提升GPU效能多達430%。
透過AI模型量化（Quantization）壓縮技術，過去需要4張GPU的任務，現只需1張GPU即可完成，最高可釋放24倍效能。
他補充，雖然模型壓縮技術提升GPU效能的同時會略微降低AI準確度，但仍足以滿足企業需求。「在W8A8壓縮模式下，即50%壓縮率，準確度仍接近100%。」
Leave a comment