技术专区
-
置顶 DeepSeek-V3.1-GGUF 1-bit～16-bit 对比和选择
核心定义与背景 DeepSeek-V3.1 基础模型 总参数 685B、单 token 激活 37B 参数，上下文 128K，支持混合推理（思考 / 非思考模式），编程、长文本、工…
-
置顶 AI大模型量化方法及下载地址
1. 什么是模型量化 模型量化是将高精度的模型（通常为 32 位浮点数 FP32 或 16 位浮点数 FP16 ）的权重和激活值转换为低精度模型（如 8 位整数 INT8）的过程。…
-
置顶 银河麒麟(KylinOS)下DeepSeek的四种使用场景
如何在银河麒麟使用DeepSeek？最近国内AI大模型DeepSeek爆火，相信使用银河麒麟操作系统的用户也非常急迫的想体验一把，接下来，一文给大家介绍在银河麒麟操作系统玩转Dee…
-
置顶 安装银河麒麟桌面系统V10【超详细图文教程】
1、下载安装镜像 1.1 申请试用 银河麒麟官网提供免费试用下载，需要申请一下。打开 https://www.kylinos.cn/support/trial.html 填上相应信…
-
置顶 GitHub 镜像站点
国内访问 GitHub 有时会遇到速度慢或不稳定的情况，这时 GitHub 镜像站点就能帮上忙。它们通过代理或缓存机制，让你更顺畅地浏览仓库、下载资源甚至克隆代码。 下面表格汇总了…
-
置顶 2024年国内外AI领域开源常用大模型资料汇集及资源下载部署方法（持续更新中）
一、介绍 目前，开源大小模型较多，在实际应用过程中遇到调试和问题点较多，本文是综合汇总集合，做测试使用可以，实际商业应用要慎重考虑！！！！！ 基座模型通常指的是一个通用的、预先训练…
-
麒麟高级服务器版 v10 SP3（主流为鲲鹏 ARM64 架构，可选配昇腾 / NVIDIA GPU） 上完成 llama.cpp 的完整安装
麒麟高级服务器版 v10 SP3（主流为鲲鹏 ARM64 架构，可选配昇腾 / NVIDIA GPU） 上完成 llama.cpp 的完整安装，以下是分硬件场景、可直接落地、经过验…
-
llama.cpp，Ollama 麒麟高级服务器版 v10 SP3（鲲鹏 ARM64 + 昇腾 GPU） 的正式生产环境中对比
在麒麟高级服务器版 v10 SP3（鲲鹏 ARM64 + 昇腾 GPU） 的正式生产环境中，llama.cpp 和 Ollama 哪个更适合部署大模型，核心关注适配性、稳定性、资源…
-
银河麒麟 V10 SP3 环境下大模型对普通硬盘组建的 RAID 1 阵列完成目录的配置
在麒麟 V10 SP3 环境下，针对普通硬盘组建的 RAID 1 阵列完成/data/models目录的配置（替代之前的 NVMe SSD），核心差异在于 RAID 1 的设备识别…
-
银河麒麟 V10 SP3 环境下大模型存储设备的挂载和优化等核心操作
在麒麟 V10 SP3 环境下，完成3TB NVMe SSD 的挂载确认、模型存储目录 (/data/models) 创建、权限配置、永久挂载（避免重启失效） 等核心操作，以下是逐…
