GPUStack

在昇腾（Ascend）生态中，vLLM 等推理引擎在生成类任务中表现出色，已被广泛采用。而在 Embedding 与 Reranker 等检索相关场景下，mis-tei 作为专用推理组件，同样提供了高效且更贴合场景的能力。 mis-tei 专注于文…

GPUStack 0.2：开箱即用的分布式推理、CPU推理和调度策略  GPUStack 是一个专为运行大语言模型（LLM）设计的开源 GPU 集群管理器，旨在支持基于任何品牌的异构 GPU 构建统一管理的算力集群，无论这些 GPU 运行在 Ap…

GPUStack正式发布: 为大模型而生的开源GPU集群管理器 经过 Seal 研发团队几个月来持续的开发和测试，我们满怀期待及热情地发布新的产品 GPUStack，GPUStack 是一个用于运行 LLM（大型语言模型）的开源 GPU 集群管理…

GPUStack 是一个开源的 GPU 集群管理器，专为高效的 AI 模型部署而设计。它配置和编排推理引擎（vLLM、SGLang、TensorRT-LLM 或您自定义的引擎），以优化跨 GPU 集群的性能。其核心功能包括： 多集群 GPU 管理。 跨…