分类: 人工智能
人工智能
DeepSeek V4 弃用英伟达跑华为昇腾 × GPT-6“土豆“4.14发布——CUDA到CANN迁移踩坑和模型选型
一、DeepSeek V4:CUDA迁移到CANN,这次是认真的 1.1 基本情况 The Informati […]
人工智能
GPUStack 在华为昇腾 800I A2 服务器上的保姆级部署指南
随着国产 AI 芯片生态的日益成熟,华为昇腾(Ascend)系列 NPU 已成为大模型私有化部署的重要选择。G […]

人工智能
GPUStack 中集成基于 mis-tei 实现昇腾上的高性能 Embedding/Reranker 模型推理
在昇腾(Ascend)生态中,vLLM 等推理引擎在生成类任务中表现出色,已被广泛采用。而在 Embeddin […]
人工智能
制作并量化GGUF模型上传到HuggingFace和ModelScope
llama.cpp 是 Ollama、LMStudio 和其他很多热门项目的底层实现,也是 GPUStack […]
人工智能
通过GPUStack在昇腾Ascend 910B上运行Qwen2.5推理
目前在国产 AI 芯片,例如昇腾 NPU 上运行大模型是一项广泛且迫切的需求,然而当前的生态还远未成熟。从底层 […]