第35屆台灣精品選拔 — 選拔項目撰寫稿

AI-Stack 是數位無限自主研發的企業級機器學習協作管理平台，以單一介面整合容器管理、GPU 資源排程、鏡像與儲存管理、分散式訓練叢集與 Dashboard 監控，協助企業把昂貴的 GPU 算力管好、用滿。在完整平台之上，核心創新 CTA (Core Type Aware Scheduler) 進一步解決一個長期被忽略的浪費：當工作負載只吃 CUDA Core (如電信 vRAN 訊號處理) 時，同卡的 Tensor Core 幾乎整片閒置 —— 實測 NVIDIA H100 於純 vRAN 下 16,896 個 CUDA Core 高度使用、528 個 Tensor Core 幾近全閒，GPU 帳面滿載、實際核心利用率僅 30-40%。CTA 在 Kubernetes 排程層將每張 GPU 的 Tensor 與 CUDA 資源分池計量、依工作負載類型獨立排程，使 CUDA 型與 Tensor 型容器共用同一張卡，並對每容器施加記憶體硬隔離 (本公司 ixGPU VCUDA 技術)。PoC 實測：異核心容器同卡共置之 kernel 執行總用時退化低於 2% (1024 compute-bound 場景；大矩陣因 VRAM 頻寬退化較高)，等同把原本閒置的另一半 GPU 拿去跑第二份工作。全平台純軟體、應用程式零修改、支援 Volta 以上全系列 NVIDIA GPU (不受 MIG 僅限 A100 之限制)，以圖形化 UI 操作。市場定位上，AI-Stack 所屬之「GPU 算力核心類型排程平台」品類，於現行企業級 AI/MLOps 軟體中尚屬空白，直接呼應電信 AI-RAN、媒體、金融、製藥/HPC 等高算力產業之 TCO 下降與 ESG 節能訴求。

AI-Stack 為數位無限自主研發之企業級機器學習協作管理平台。在 Kubernetes、容器 runtime 等國際通用開源基礎之上，公司自研核心排程、GPU 虛擬化 (ixGPU VCUDA)、CTA 核心類型調度，以及容器、鏡像、儲存與分散式訓練的整合管理層，構成完整的企業 MLOps 技術堆疊；研發策略以「讓既有 GPU 發揮加倍效益、降低 AI 基礎設施總持有成本」為核心。其關鍵差異化創新 CTA (Core Type Aware Scheduler) 直擊「GPU 買得多卻用不滿」之痛點：現行 GPU 共享方案 (MIG、vGPU、time-slicing) 皆以「整卡」或「SM 分區」為單位，無法區分 GPU 內 CUDA Core 與 Tensor Core 兩種硬體獨立之運算單元，單一工作負載僅用其一、另一閒置，使核心利用率僅 30-40%。CTA 在 Kubernetes 排程層新增「核心類型」資源維度，將每卡 Tensor 與 CUDA 資源分池計量、依類型獨立排程，使兩型容器共用同卡。CTA 支援 Volta 以上全系列 NVIDIA GPU (相容範圍遠廣於僅支援 A100 之 MIG)、以標準 K8s 資源請求整合、應用程式零修改 (cycle-level 真並行待 profiler 驗證)。市場區隔：依公開技術資料，現行 GPU 共享與企業 AI 平台方案均未見可區分 GPU 核心類型之同類調度，AI-Stack 於此品類具明確空白市場之獨特性；公司並於異構 GPU 智慧監測領域取得臺灣新型專利 (M675197) 並布局韓國 (詳見智財項)，以專利強化技術門檻與競爭力。

CTA 建構於本公司 ixGPU 虛擬化與隔離技術 (VCUDA) 之上，自研「核心類型感知」層，由三部分構成：(1) ixcta device-plugin 以 K8s Device Plugin API 將單卡暴露為 ixcta-tensor 與 ixcta-cuda 兩種虛擬裝置資源 (數量由後台設定，屬配額、非物理切核心)；(2) ixscheduler 將每卡 Tensor 與 CUDA 資源分池計量、依類型獨立配額並以 binpack 共置 (排程層自研、原始碼可驗)；(3) libixcta.so 於容器啟動攔截 CUDA/NVML 呼叫，強制每容器記憶體硬上限與 SM 限制 (由 ixGPU VCUDA 提供)。架構展現公司於雲原生排程、GPU 虛擬化與 CUDA runtime 攔截之整合研發能量，並延伸 CTA × NVIDIA Aerial (cuPHY/cuMAC) vRAN 相容性分析 (純 vRAN 下 H100 之 528 個 Tensor Core 大量閒置，即 CTA 釋放閒置算力之理論基礎)，及 vRAN+Edge AI、傳統/AI-Native PHY、vRAN+LLM 推理三大部署場景藍圖。

數位無限軟體股份有限公司於 GPU 資源管理領域已建立明確之自有智慧財產：自研之「應用於異構圖形處理器環境之智慧化監測與管理系統」已取得臺灣新型專利 (專利號 M675197，申請案號 114207113，專利權期間 2025/9/21–2035/7/6)，並於韓國布局 (韓國案狀態待確認)。該專利涵蓋異構 GPU (NVIDIA、AMD、Intel、NPU、ASIC) 作業環境、多層次行為監測 (硬體指標與 API 調用序列)、跨平台數據整合、機器學習行為預測 (異常偵測、負載趨勢預測、壽命與故障風險、強化學習節能、API 語意建模)、自適應風險管理與即時告警等六大模組，展現公司於異構 GPU 行為分析與智能調控之研發深度 (此專利屬前瞻技術之研發與智財布局，相關模組尚在研發、非現行版本已出貨功能)。另一創新 CTA 之「核心類型感知」排程模型，以營業秘密與著作權控管，並採核心倉庫最小權限之分層管理，落實智財分級保護。自核心類型排程 (CTA) 至異構 GPU 智慧監測，構成完整互補之 GPU 技術智財組合。

便利性：管理者於 AI-Stack 後台「節點管理 → Set Core」即可為每張 GPU 設定可分配的 tensor / cuda 虛擬裝置數量 (排程配額，屬虛擬裝置數，非實體核心切割)，並於「規格與樣板」建立 cuda 或 tensor 之 MLS 規格；使用者於前台容器列表點選對應規格、鏡像與儲存即可建立容器，全程圖形化點選、無需指令操作，並可於 Dashboard 即時檢視各卡虛擬裝置之總量、已用量與佔比，大幅降低 GPU 共享之操作門檻。安全性：(1) 零修改導入 — 應用程式僅需於 Pod 宣告請求 ixcta-tensor 或 ixcta-cuda 標準 K8s 資源，不需修改任何一行應用程式碼，大幅降低既有系統之整合與導入風險；(2) 記憶體隔離防連鎖故障 — libixcta.so 於 runtime 強制每容器之 GPU 記憶體硬上限，單一容器超量僅 OOM 自身、不波及同卡其他容器，避免共享環境常見之連鎖崩潰，提升多租戶環境之穩定性與安全性。

成本創新：以「2 張 H100 服務 10 個 CUDA 型 + 10 個 Tensor 型工作負載」為例，傳統整卡分配同時僅能跑 2 個、其餘須排隊或加購 GPU；CTA 將互補核心類型之工作負載共置同卡、把原本閒置的另一種核心填滿，使 GPU 核心利用率自 30-40% 提升至 80% 以上 (情境模型試算，須以實際工作負載組合與記憶體容量為準)。PoC 實測佐證 (2025.11，測試環境 CPU 8 核、RAM 10 GB、單張 GPU [卡型待確認]、矩陣 1024×1024、kernel launches 10,000 次，量測 kernel 執行總用時)：單跑 CUDA 2,495.617 ms、單跑 Tensor 955.94 ms；CUDA+Tensor 共置時各容器 kernel 執行總用時分別為 2,536.072 ms (+1.6%) 與 959.55 ms (+0.4%)，kernel 執行總用時退化僅 +1.6% / +0.4% (此指標為 kernel service time，cycle-level 真並行待 profiler 補證；同型核心並存則 wall-clock 約翻倍)，低退化僅適用 compute-bound 場景。利用率倍增意味相同算力所需 GPU 數量可望減半，硬體、機房與部署成本隨之下降 (TCO 約降 40-47%，模型試算)。環保綠能：作為純軟體方案，CTA 之導入不產生額外硬體耗材；GPU 數量減半連帶降低電力消耗與冷卻負載，直接貢獻企業 ESG 節能減碳目標，並延後下一波硬體汰換、減少電子廢棄物，體現循環經濟與綠色資料中心精神。

AI-Stack 的功能設計，從企業導入 GPU 後最常碰到的三個問題出發：買了卡卻只用到三、四成；多人共用一張卡容易因記憶體爆掉而互相影響；AI 訓練推論與 vRAN、轉碼這類非 AI 工作很難擺在同一張卡上跑。對應這些問題，平台以單一介面整合容器管理、GPU 排程、鏡像與儲存管理、分散式訓練叢集與 Dashboard 監控，讓管理者用一套介面管理整個 GPU 叢集。其中 GPU 記憶體切割能把一張 48 GB 卡分給多個工作同時使用，CTA 模組再進一步把卡內的 CUDA 與 Tensor 核心分開排程，使 AI 與非 AI 工作共用同一張卡。功能規劃直接對應電信、媒體、金融、製藥等同時具高算力與 AI 需求的客群 (詳見 CTA 應用場景)。

全平台以圖形化網頁介面操作。從 GPU 切割、CTA 的核心數設定 (Set Core)、規格樣板建立到容器部署，都用表單與點選完成，管理者不必記憶冗長指令；應用端則只要在 Pod 宣告標準 Kubernetes 資源請求即可使用，既有程式不用改就能上線，降低學習與導入成本。介面採中性語言與一致化版面，圖示與配色不預設使用者的性別、年齡或專業背景，讓系統管理者、維運人員到資料科學家都能依各自角色順暢操作，落實包容性設計。

AI-Stack 之效能以產品級實測背書：於 4 片 NVIDIA RTX 6000 Ada (48 GB)、AI-Stack 4.23.0 平台對 DeepSeek-R1 671B、Llama3.3 70B、Qwen2.5 72B 等大型模型進行推論壓測，AI-Stack 容器化管理之每秒 token 數與裸機幾乎無差異 (差距 <1%)，尤以 GPU 共享模式為關鍵 — 單卡 qwen2.5:72b 裸機 23.71 / 獨佔 23.69 / 共享 23.69 TPS，deepseek-r1:70b 亦同 — 在此測試中，GPU 共享/切割幾乎不影響效能，讓「一卡多工、資源整併」在這類場景真正可行。CTA 模組則在 Kubernetes scheduler extension 與 Device Plugin API 之上做核心類型調度 (異核心共置 kernel-service 退化 <2%)，兼顧雲原生整合與接近裸機的效能。

平台 UI 以一致化的視覺語言與清晰的資訊層級呈現。Dashboard 把每張卡的 CUDA 與 Tensor 核心總量、已用量、佔比，以及記憶體切割狀態，用直覺的圖表即時顯示，讓原本抽象難懂的 GPU 利用率變成一眼就能判讀的畫面——管理者可以快速看出哪張卡還有餘裕、哪個工作吃掉多少資源。視覺在美感與可讀性間取得平衡，也兼顧長時間維運的舒適度。

環保思維內建在產品架構，而非外掛功能。透過 GPU 記憶體切割與 CTA 核心類型排程把利用率拉高，企業在相同算力需求下所需的實體卡數可望減半，等於用軟體換掉一半硬體；卡數減少，連帶降低機房的電力與冷卻負載，也延後了下一波硬體汰換、減少電子廢棄物。這套「以軟體換硬體」的設計，直接呼應綠色資料中心與企業節能減碳的方向。

AI-Stack 以「讓既有 GPU 發揮加倍效益」作為創新品質的核心，解決客戶過去用 MIG、vGPU 或 time-slicing 都處理不了的問題——在不增購硬體的前提下，把 AI 與非 AI 的異質工作放進同一張卡並行。這個能力已有產品級實測背書：在 RTX 6000 Ada 平台上，AI-Stack 不但跑得起 DeepSeek-R1 671B、Llama 3.3 70B 等大型模型，開啟 GPU 共享模式後的推論效能還與裸機幾乎一樣 (差距 1% 以內)。搭配記憶體切割，一張 48 GB 卡可以讓 70B 模型與影像辨識、語音辨識等應用同時運行，把過去要三張卡才做得到的事壓到一張卡上。CTA 的核心類型感知更是市場上少見、能區分 CUDA 與 Tensor 核心的調度方式，對同時擁有 AI 與 vRAN/HPC 工作的客群具明確吸引力。零修改、純軟體、效能不打折的組合，讓既有顧客一導入就感受得到效益，也對潛在客戶形成清楚的競爭差異。以 deepseek-r1:70b 為例，它約佔 42 GB，AI-Stack 把一張 48 GB 卡切給它之後，剩下的 6 GB 還能同時跑 YOLOv8、Whisper 或 ResNet 等應用，等於一張卡服務五個容器——這種「把卡榨乾又不互相影響」的品質，正是客戶過去做不到的。

AI-Stack 的開發與發布走版本化流程：需求與缺陷以 Jira 追蹤管理，程式碼與版本發布透過 GitLab release 控管，確保每個版本的變更都有紀錄、可回溯。部署面以 Ansible 量產安裝包與 Helm Chart 標準化，並以 golden sample 比對驗證各版本的一致性，搭配跨版本回歸測試與安裝後的 UI 設定查核。發布前的壓測涵蓋產品級效能基準——以 AI-Stack 4.23.0 在 RTX 6000 Ada 平台對五個大型模型 (DeepSeek-R1 671B 兩種量化、Llama 3.3 70B、Qwen2.5 72B、DeepSeek-R1 70B) 做推論測試，每個情境設計八道不同 token 長度的題目、各問三次取平均 TPS，並分別量測裸機、AI-Stack 獨佔與共享三種模式，確認管理與共享模式的效能與裸機差距都在 1% 以內，結果整理成版本化測試報告 (GPU_benchmark 2025.02)。CTA 模組 (目前為 PoC、尚未隨產品 GA) 亦完成異核心共置壓測。透過 Jira 到 GitLab 的這套可追溯流程，產品品質得以可控、可重現。

公司已著手導入 ISO 27001 資訊安全管理系統，預計 2026 年 12 月取得認證，將品質與資安管理正式制度化。在認證到位前，AI-Stack 的發布流程已內建可重現的驗證與查核步驟：從 Jira 需求追蹤、GitLab release、安裝包打包到發布前壓測，每個版本都留下可追溯的測試紀錄；核心倉庫採最小權限的分層存取，確保原始碼與發布版本的完整性。這些機制構成品質與資安管理落地的基礎，並依測試與客戶回饋持續改善。從 Jira 的需求單、GitLab 的版本標記到發布前測試報告，每一次變更都能追溯到對應的需求與測試結果，這正是 ISO 27001 強調的可追溯性與存取控管基礎，也讓公司在認證導入過程中能快速對齊稽核要求。

AI-Stack 的產品迭代由客戶的 RFP 與 PoC 回饋驅動。以 CTA 與 NVIDIA Aerial 的 vRAN 整合分析為例，這項研究就是源自電信客戶「vRAN 與 AI 要在同一批 GPU 上跑」的真實需求，團隊把這類場景系統性地轉化為產品路線圖。客戶導入採「現況評估 → 效益試算 → 技術驗證 → 規劃部署 → 正式上線」五個階段，每一階段都以客戶的實際工作負載為準做驗證與驗收，讓品質從售前一路貫穿到上線，也讓產品方向始終貼著市場需求走。發布後的問題與需求同樣回到 Jira 追蹤，形成「回饋—改善—再發布」的循環。團隊也會在 PoC 與導入過程中蒐集客戶對效能、易用性與穩定性的回饋，作為下一版規格與優先順序的依據，讓全面品質管理不只停留在內部流程，而是真正以客戶體驗為導向。

品質經營：以客戶 PoC 與 RFP 需求建立長期合作關係，並將回饋系統性納入產品路線圖，追求顧客忠誠度與長遠價值。ESG 與環境永續：AI-Stack 的節能效益主要來自提高 GPU 利用率 — 利用率提升後，相同算力需求所需的硬體、電力與冷卻可望減半，直接支持資料中心節能減碳之中長期策略；作為純軟體方案不增額外硬體耗材，並延後硬體汰換、減少電子廢棄物，呼應循環經濟。前述效益使本產品同時具備商業價值與環境永續價值，呼應台灣精品近年「永續、AI 與跨領域整合」並重之評選趨勢。依產業研究估算之 TCO 構成 (模型試算)：GPU 硬體採購占 55-60%、電力與冷卻占 20-25%、機架與網路占 10-12%，CTA 於前三項各約可節省 50%，合計總持有成本約降 47%；以不同部署規模估算，五年 TCO 約可節省 50 張 120 萬、100 張 240 萬、200 張 480 萬、500 張 1,200 萬美元，且規模越大、減少的硬體與相應碳排越可觀 (模型試算，實際依部署環境而異)，將節能減碳具體量化為可驗證之永續成效。公司並規劃將此類資源效率指標納入 ESG 揭露，作為中長期環境永續策略的一環；對企業客戶而言，導入 AI-Stack 在降低成本的同時也直接降低碳排，商業價值與環境效益指向同一個解方。

AI-Stack 是數位無限 (INFINITIX) 的自有品牌，定位為「讓既有 GPU 發揮加倍效益」的企業 AI 基礎設施管理平台。品牌主打三個訴求：把 GPU 利用率拉高、把總持有成本 (TCO) 壓低、以及透過減少硬體達成 ESG 節能減碳；支撐這些訴求的是已實測的產品力——AI-Stack 在開啟 GPU 共享下的推論效能與裸機差距在 1% 以內，並已取得臺灣新型專利 (M675197) 強化技術門檻。更具體地說，平台的 GPU 切割可讓一張 48 GB 卡同時跑一個 70B 大型模型與多個影像、語音 AI 應用，等於把原本三張卡的工作收斂到一張。產品定位採垂直產業切分，鎖定同時有高算力與 AI 需求的客群：電信業以 vRAN 訊號處理 (FFT、LDPC 編解碼、MIMO 檢測，吃 CUDA Core) 搭配 AI 網路智慧化 (流量預測、異常偵測，吃 Tensor Core)；媒體業以 H.265/AV1 影音轉碼搭配 AI 內容審核與自動字幕；金融業以蒙地卡羅模擬、選擇權定價搭配 AI 詐欺偵測與信用評分；製藥與 HPC 以分子動力學、蛋白質摺疊搭配 AI 藥物篩選——每個產業都有一邊吃 CUDA、一邊吃 Tensor 的互補工作，正是 CTA 與 GPU 切割能同卡並行、把硬體需求壓低的切入點。以部署規模試算 (模型試算)，50 張 GPU 規模約可省 25 張、五年 TCO 約省 120 萬美元，500 張規模約可省 250 張、五年約省 1,200 萬美元，這套規模化效益是面對大型電信與雲端客戶時的核心價值主張。

AI-Stack 採「原廠直接銷售 + 顧問式 PoC 導入 + 經銷與系統整合通路」的多元策略。面對重點客戶，由原廠團隊直接接觸，用 PoC 在客戶自己的工作負載上驗證效益，讓客戶看到實際數據後再決策；面對區域市場與大型基礎設施專案，則透過系統整合商 (SI) 與經銷夥伴擴大觸及，兼顧國內與海外通路。導入過程由原廠提供技術窗口與效能驗證支援，確保通路夥伴在前線也能順利交付與後續維運。海外市場以東南亞的電信與企業客群為優先布局方向，並依各地的產業結構與採購習慣，調整直銷與經銷的搭配比重，一步步把通路網絡建立起來。

行銷與技術團隊持續蒐集兩個層面的競爭資訊。第一是國際 GPU 調度方案 (NVIDIA MIG、vGPU、Run:ai 等) 的公開技術資料，據以產出 CTA 對 MIG/vGPU 的逐項比較，以及 CTA 與 NVIDIA Aerial 的 vRAN 整合可行性研究；第二是國內外企業級 AI 平台與 MLOps 軟體的市場態勢——涵蓋 LLM 工具、AI 數據治理、API 與資源排程管理等同類自主研發軟體——藉此掌握品類動向與差異化空間。綜合分析顯示 (依公開技術資料)：AI-Stack 在核心類型感知、異核心互補共置、資源動態彈性與 QoS 隔離等面向，相較 MIG 與標準 Kubernetes GPU 方案具差異化優勢，而「GPU 算力核心類型排程」這個品類在現行同類軟體中尚屬空白。此外，前述產品級效能 benchmark (共享模式效能等同裸機) 也成為對客戶溝通時最有力的客觀依據。這些情資系統性回饋研發與行銷策略，確保產品始終對準市場需求與競爭態勢的變化。具體而言，相較 NVIDIA MIG 僅支援 A100 以上、且每個切片仍同時含兩種核心，CTA 支援 Volta 以上全系列、並能在排程層區分核心類型；相較 vGPU 與 time-slicing 的時間分片，AI-Stack 的記憶體切割在實測中維持了等同裸機的效能。這份對照表是業務在客戶技術評估階段的主要說服依據。顧客滿意度方面，團隊以 PoC 的效能驗收結果與導入後的使用回饋作為主要指標，並把共通的問題回到產品路線圖，形成市場資訊與產品改善之間的閉環。這套蒐集與回饋機制也讓對外的行銷訊息能持續貼近客戶真正在意的痛點，而不是單向輸出。

平台導入採顧問式 PoC 加技術支援的模式。團隊會依客戶的實際場景——例如電信的 vRAN、企業的 AI 訓練與推論——規劃導入路徑、進行效能驗證，並在上線後提供持續的技術協助。整個過程以「現況評估 → 效益試算 → 技術驗證 → 規劃部署 → 正式上線」五個階段推進，每個階段都有明確的交付與驗收，售後的問題與需求也回到 Jira 追蹤處理，藉此和客戶建立長期的信任關係，而非一次性的交易。對重點客戶並指派固定的技術窗口，讓導入後的調校、版本升級與問題排除都有人對接，降低客戶維運的負擔與風險。技術窗口同時扮演需求蒐集的角色，把客戶在實際運行中遇到的狀況回傳給產品團隊，讓維運服務與產品改善相互銜接，而不是各做各的；客戶的訴願與問題處理進度也透過固定的回報機制讓客戶掌握。

品牌推廣以產業展會、技術白皮書與 PoC Live Demo 為主。其中 PoC 加 Live Demo 是最有說服力的一環——團隊可以在客戶現場直接展示開啟 AI-Stack 前後的 GPU 利用率差異，以及共享模式下效能不打折的實測數據，讓效益「看得見」。對外溝通以一致的訴求進行：GPU 利用率約提升兩倍、TCO 約降四成 (模型試算)、應用零修改即可導入；再搭配前述的效能 benchmark 與臺灣新型專利，形成兼具技術可信度與商業說服力的品牌體驗。展會與白皮書負責建立品類認知與技術形象，PoC Live Demo 負責臨門一腳的轉換，兩者搭配，涵蓋從認識、評估到決策的完整客戶旅程。對外發布的技術內容也同步在官方網站與技術社群露出，擴大品類能見度，並為業務團隊累積可重複使用的銷售素材。

參選產品 AI-Stack 平台 (含核心創新模組 CTA 的 ixcta device-plugin、ixscheduler 核心類型排程、libixcta.so 隔離庫等自研與整合元件) 由數位無限軟體股份有限公司——一家依我國法律設立登記的臺灣品牌企業——於臺灣自主研發。研發單位設於臺灣，從核心演算法設計、原始碼開發、壓力測試到版本發布，整個流程都在我國境內完成；相關 GPU 監測技術並已取得臺灣新型專利 (M675197)，屬於我國研發產製的資訊軟體產品。

核心研發與關鍵技術實作主要在臺灣完成，未涉及國外製造；平台所用的開源元件 (如 Kubernetes、容器 runtime) 為國際通用基礎軟體，核心的調度、虛擬化與隔離技術則由公司自研。原產地證明文件詳見待提供項目。

不適用 (非國外製造)。