GPUStack
-
GPUStack 在华为昇腾 800I A2 服务器上的保姆级部署指南
随着国产 AI 芯片生态的日益成熟,华为昇腾(Ascend)系列 NPU 已成为大模型私有化部署的重要选择。GPUStack 作为一个开源的、支持异构算力(包括 NVIDIA、AMD、Apple Silicon 以及华为昇腾等)的集群管理器,自 v0…
-
GPUStack 中集成基于 mis-tei 实现昇腾上的高性能 Embedding/Reranker 模型推理
在昇腾(Ascend)生态中,vLLM 等推理引擎在生成类任务中表现出色,已被广泛采用。而在 Embedding 与 Reranker 等检索相关场景下,mis-tei 作为专用推理组件,同样提供了高效且更贴合场景的能力。 mis-tei 专注于文…
-
通过GPUStack在昇腾Ascend 910B上运行Qwen2.5推理
目前在国产 AI 芯片,例如昇腾 NPU 上运行大模型是一项广泛且迫切的需求,然而当前的生态还远未成熟。从底层芯片的算力性能、计算架构的算子优化,到上层推理框架对各种模型的支持及推理加速,仍有很多需要完善的地…
-
GPUStack 0.2:开箱即用的分布式推理、CPU推理和调度策略
GPUStack 0.2:开箱即用的分布式推理、CPU推理和调度策略 GPUStack 是一个专为运行大语言模型(LLM)设计的开源 GPU 集群管理器,旨在支持基于任何品牌的异构 GPU 构建统一管理的算力集群,无论这些 GPU 运行在 Ap…
-
GPUStack正式发布: 为大模型而生的开源GPU集群管理器
GPUStack正式发布: 为大模型而生的开源GPU集群管理器 经过 Seal 研发团队几个月来持续的开发和测试,我们满怀期待及热情地发布新的产品 GPUStack,GPUStack 是一个用于运行 LLM(大型语言模型)的开源 GPU 集群管理…
-
GPUStack 是一个开源的 GPU 集群管理器,专为高效的 AI 模型部署而设计
GPUStack 是一个开源的 GPU 集群管理器,专为高效的 AI 模型部署而设计。它配置和编排推理引擎(vLLM、SGLang、TensorRT-LLM 或您自定义的引擎),以优化跨 GPU 集群的性能。其核心功能包括: 多集群 GPU 管理。 跨…