技术专区
-
置顶 DeepSeek-V3.1-GGUF 1-bit～16-bit 对比和选择
核心定义与背景 DeepSeek-V3.1 基础模型 总参数 685B、单 token 激活 37B 参数，上下文 128K，支持混合推理（思考 / 非思考模式），编程、长文本、工具调用能力突出。 原生支持 FP16/BF16/FP8 等精度，GGUF 是社区…
-
置顶 AI大模型量化方法及下载地址
1. 什么是模型量化 模型量化是将高精度的模型（通常为 32 位浮点数 FP32 或 16 位浮点数 FP16 ）的权重和激活值转换为低精度模型（如 8 位整数 INT8）的过程。 FP32 的值范围为 -3.4*10^38 到 3.4*10^38，有 40 亿…
-
置顶 银河麒麟(KylinOS)下DeepSeek的四种使用场景
如何在银河麒麟使用DeepSeek？最近国内AI大模型DeepSeek爆火，相信使用银河麒麟操作系统的用户也非常急迫的想体验一把，接下来，一文给大家介绍在银河麒麟操作系统玩转DeepSeek的四种场景！ 四种使用场景 一、网页…
-
置顶 安装银河麒麟桌面系统V10【超详细图文教程】
1、下载安装镜像 1.1 申请试用 银河麒麟官网提供免费试用下载，需要申请一下。打开 https://www.kylinos.cn/support/trial.html 填上相应信息后提交。 1.2 下载 提交成功会转到下载页面，根据CPU架构选择要下载的安…
-
置顶 GitHub 镜像站点
国内访问 GitHub 有时会遇到速度慢或不稳定的情况，这时 GitHub 镜像站点就能帮上忙。它们通过代理或缓存机制，让你更顺畅地浏览仓库、下载资源甚至克隆代码。 下面表格汇总了一些常见的镜像站及其主要用途 镜像站…
-
置顶 2024年国内外AI领域开源常用大模型资料汇集及资源下载部署方法（持续更新中）
一、介绍 目前，开源大小模型较多，在实际应用过程中遇到调试和问题点较多，本文是综合汇总集合，做测试使用可以，实际商业应用要慎重考虑！！！！！ 基座模型通常指的是一个通用的、预先训练好的语言模型，如GPT-3…
-
告别Windows依赖锁死！.NET 10加持C#上位机，国产Linux系统性能翻倍与7*24h稳定性验证全实战
在智能制造信创国产化的深水区，工业自动化领域的上位机系统正面临前所未有的迁移压力：传统Windows+WPF架构的工控程序，被要求快速适配统信UOS/银河麒麟+鲲鹏/飞腾/龙芯的国产软硬件环境。但绝大多数开发团队在迁…
-
DeepSeek V4 弃用英伟达跑华为昇腾 × GPT-6“土豆“4.14发布——CUDA到CANN迁移踩坑和模型选型
一、DeepSeek V4：CUDA迁移到CANN，这次是认真的 1.1 基本情况 The Information 4月3号的独家报道，五个知情人士给出了一致说法： 维度 规格 备注 参数量 1.2万亿 Ultra-MoE稀疏激活 芯片 华为昇腾950PR 替代NVIDIA…
-
GPUStack 在华为昇腾 800I A2 服务器上的保姆级部署指南
随着国产 AI 芯片生态的日益成熟，华为昇腾（Ascend）系列 NPU 已成为大模型私有化部署的重要选择。GPUStack 作为一个开源的、支持异构算力（包括 NVIDIA、AMD、Apple Silicon 以及华为昇腾等）的集群管理器，自 v0…
-
GPUStack 中集成基于 mis-tei 实现昇腾上的高性能 Embedding/Reranker 模型推理
在昇腾（Ascend）生态中，vLLM 等推理引擎在生成类任务中表现出色，已被广泛采用。而在 Embedding 与 Reranker 等检索相关场景下，mis-tei 作为专用推理组件，同样提供了高效且更贴合场景的能力。 mis-tei 专注于文…
