人工智能
-
置顶 DeepSeek-V3.1-GGUF 1-bit～16-bit 对比和选择
核心定义与背景 DeepSeek-V3.1 基础模型 总参数 685B、单 token 激活 37B 参数，上下文 128K，支持混合推理（思考 / 非思考模式），编程、长文本、工具调用能力突出。 原生支持 FP16/BF16/FP8 等精度，GGUF 是社区…
-
置顶 AI大模型量化方法及下载地址
1. 什么是模型量化 模型量化是将高精度的模型（通常为 32 位浮点数 FP32 或 16 位浮点数 FP16 ）的权重和激活值转换为低精度模型（如 8 位整数 INT8）的过程。 FP32 的值范围为 -3.4*10^38 到 3.4*10^38，有 40 亿…
-
置顶 银河麒麟(KylinOS)下DeepSeek的四种使用场景
如何在银河麒麟使用DeepSeek？最近国内AI大模型DeepSeek爆火，相信使用银河麒麟操作系统的用户也非常急迫的想体验一把，接下来，一文给大家介绍在银河麒麟操作系统玩转DeepSeek的四种场景！ 四种使用场景 一、网页…
-
置顶 安装银河麒麟桌面系统V10【超详细图文教程】
1、下载安装镜像 1.1 申请试用 银河麒麟官网提供免费试用下载，需要申请一下。打开 https://www.kylinos.cn/support/trial.html 填上相应信息后提交。 1.2 下载 提交成功会转到下载页面，根据CPU架构选择要下载的安…
-
置顶 2024年国内外AI领域开源常用大模型资料汇集及资源下载部署方法（持续更新中）
一、介绍 目前，开源大小模型较多，在实际应用过程中遇到调试和问题点较多，本文是综合汇总集合，做测试使用可以，实际商业应用要慎重考虑！！！！！ 基座模型通常指的是一个通用的、预先训练好的语言模型，如GPT-3…
-
昇腾+verl：基于昇腾超节点DeepSeek R1模型RL训练优化实践
现阶段，昇腾CANN致力于协助开发者基于NPU构建更高效的大模型强化学习训练平台，全面赋能强化学习场景深度训推优化。目前，昇腾CANN已经支持对接开源RL训练框架verl，能够适配GRPO、DAPO、PPO等多种RL训练算法。为…
-
昇腾大模型解决方案
昇腾AI全流程使能大模型创新落地 从大模型的开发训练到推理部署，昇腾AI全流程使能大模型创新落地 大模型生态全景图 基于昇腾原生孵化及迁移适配的大模型 昇腾大模型解决方案-文档课程资源-昇腾社区
-
KunLun AI Space基于昇腾实现DeepSeek V3.1 FP8推理
在 AI 技术飞速迭代的今天，大模型的“高效部署”已成为企业落地的核心痛点 —— 既要保证推理精度，又要控制硬件成本，如何平衡两者？ 近期发布的 DeepSeek V3.1 大模型，因搭载了FP8精度格式（UE8M0 FP8）引发业界关…
-
麒麟高级服务器版 v10 SP3（主流为鲲鹏 ARM64 架构，可选配昇腾 / NVIDIA GPU） 上完成 llama.cpp 的完整安装
麒麟高级服务器版 v10 SP3（主流为鲲鹏 ARM64 架构，可选配昇腾 / NVIDIA GPU） 上完成 llama.cpp 的完整安装，以下是分硬件场景、可直接落地、经过验证的步骤，全程适配麒麟系统特性，每一步均包含 “操作命令 + 验…
-
llama.cpp，Ollama 麒麟高级服务器版 v10 SP3（鲲鹏 ARM64 + 昇腾 GPU） 的正式生产环境中对比
在麒麟高级服务器版 v10 SP3（鲲鹏 ARM64 + 昇腾 GPU） 的正式生产环境中，llama.cpp 和 Ollama 哪个更适合部署大模型，核心关注适配性、稳定性、资源利用率、企业级运维四大正式环境核心诉求。以下是基于麒麟系统…
