技术专区
-
DeepSeek V4 弃用英伟达跑华为昇腾 × GPT-6“土豆“4.14发布——CUDA到CANN迁移踩坑和模型选型
一、DeepSeek V4：CUDA迁移到CANN，这次是认真的 1.1 基本情况 The Information 4月3号的独家报道，五个知情人士给出了一致说法： 维度 规格 备注 参数量 1.2万亿 Ultra-MoE稀疏激活 芯片 华为昇腾950PR 替代NVIDIA…
-
GPUStack 在华为昇腾 800I A2 服务器上的保姆级部署指南
随着国产 AI 芯片生态的日益成熟，华为昇腾（Ascend）系列 NPU 已成为大模型私有化部署的重要选择。GPUStack 作为一个开源的、支持异构算力（包括 NVIDIA、AMD、Apple Silicon 以及华为昇腾等）的集群管理器，自 v0…
-
GPUStack 中集成基于 mis-tei 实现昇腾上的高性能 Embedding/Reranker 模型推理
在昇腾（Ascend）生态中，vLLM 等推理引擎在生成类任务中表现出色，已被广泛采用。而在 Embedding 与 Reranker 等检索相关场景下，mis-tei 作为专用推理组件，同样提供了高效且更贴合场景的能力。 mis-tei 专注于文…
-
制作并量化GGUF模型上传到HuggingFace和ModelScope
llama.cpp 是 Ollama、LMStudio 和其他很多热门项目的底层实现，也是 GPUStack 所支持的推理引擎之一，它提供了 GGUF 模型文件格式。GGUF (General Gaussian U-Net Format) 是一种用于存储模型以进行推理的文件格式…
-
通过GPUStack在昇腾Ascend 910B上运行Qwen2.5推理
目前在国产 AI 芯片，例如昇腾 NPU 上运行大模型是一项广泛且迫切的需求，然而当前的生态还远未成熟。从底层芯片的算力性能、计算架构的算子优化，到上层推理框架对各种模型的支持及推理加速，仍有很多需要完善的地…
-
GPUStack 0.2：开箱即用的分布式推理、CPU推理和调度策略
GPUStack 0.2：开箱即用的分布式推理、CPU推理和调度策略 GPUStack 是一个专为运行大语言模型（LLM）设计的开源 GPU 集群管理器，旨在支持基于任何品牌的异构 GPU 构建统一管理的算力集群，无论这些 GPU 运行在 Ap…
-
GPUStack正式发布: 为大模型而生的开源GPU集群管理器
GPUStack正式发布: 为大模型而生的开源GPU集群管理器 经过 Seal 研发团队几个月来持续的开发和测试，我们满怀期待及热情地发布新的产品 GPUStack，GPUStack 是一个用于运行 LLM（大型语言模型）的开源 GPU 集群管理…
-
GPUStack 是一个开源的 GPU 集群管理器，专为高效的 AI 模型部署而设计
GPUStack 是一个开源的 GPU 集群管理器，专为高效的 AI 模型部署而设计。它配置和编排推理引擎（vLLM、SGLang、TensorRT-LLM 或您自定义的引擎），以优化跨 GPU 集群的性能。其核心功能包括： 多集群 GPU 管理。 跨…
-
谷歌DeepMind正式发布Gemma 4，一口气放出四款开源模型
凌晨，谷歌DeepMind正式发布Gemma 4，一口气放出四款开源模型。 从能塞进手机的2B，到可以单卡跑满的31B，四个尺寸全覆盖，全部基于Gemini 3同源打造。 时隔一年，Gemma 4终于来了，实力迎来史诗级跃迁。 最炸的一…
-
GoldenDB基于MySQL数据库下载安装指南
一、GoldenDB数据库简介 GoldenDB是中兴通讯推出的金融级分布式数据库，基于MySQL内核深度优化，具备高可用、高性能、强一致等特性，广泛应用于金融、电信等行业核心系统。 二、GoldenDB下载准备 系统要求：Linux操…
