-
置顶 DeepSeek-V3.1-GGUF 1-bit~16-bit 对比和选择
核心定义与背景 DeepSeek-V3.1 基础模型 总参数 685B、单 token 激活 37B 参数,上下文 128K,支持混合推理(思考 / 非思考模式),编程、长文本、工…
-
置顶 AI大模型量化方法及下载地址
1. 什么是模型量化 模型量化是将高精度的模型(通常为 32 位浮点数 FP32 或 16 位浮点数 FP16 )的权重和激活值转换为低精度模型(如 8 位整数 INT8)的过程。…
-
置顶 银河麒麟(KylinOS)下DeepSeek的四种使用场景
如何在银河麒麟使用DeepSeek?最近国内AI大模型DeepSeek爆火,相信使用银河麒麟操作系统的用户也非常急迫的想体验一把,接下来,一文给大家介绍在银河麒麟操作系统玩转Dee…
-
置顶 安装银河麒麟桌面系统V10【超详细图文教程】
1、下载安装镜像 1.1 申请试用 银河麒麟官网提供免费试用下载,需要申请一下。打开 https://www.kylinos.cn/support/trial.html 填上相应信…
-
置顶 GitHub 镜像站点
国内访问 GitHub 有时会遇到速度慢或不稳定的情况,这时 GitHub 镜像站点就能帮上忙。它们通过代理或缓存机制,让你更顺畅地浏览仓库、下载资源甚至克隆代码。 下面表格汇总了…
-
置顶 2024年国内外AI领域开源常用大模型资料汇集及资源下载部署方法(持续更新中)
一、介绍 目前,开源大小模型较多,在实际应用过程中遇到调试和问题点较多,本文是综合汇总集合,做测试使用可以,实际商业应用要慎重考虑!!!!! 基座模型通常指的是一个通用的、预先训练…
-
麒麟高级服务器版 v10 SP3(主流为鲲鹏 ARM64 架构,可选配昇腾 / NVIDIA GPU) 上完成 llama.cpp 的完整安装
麒麟高级服务器版 v10 SP3(主流为鲲鹏 ARM64 架构,可选配昇腾 / NVIDIA GPU) 上完成 llama.cpp 的完整安装,以下是分硬件场景、可直接落地、经过验…
-
llama.cpp,Ollama 麒麟高级服务器版 v10 SP3(鲲鹏 ARM64 + 昇腾 GPU) 的正式生产环境中对比
在麒麟高级服务器版 v10 SP3(鲲鹏 ARM64 + 昇腾 GPU) 的正式生产环境中,llama.cpp 和 Ollama 哪个更适合部署大模型,核心关注适配性、稳定性、资源…
-
银河麒麟 V10 SP3 环境下大模型对普通硬盘组建的 RAID 1 阵列完成目录的配置
在麒麟 V10 SP3 环境下,针对普通硬盘组建的 RAID 1 阵列完成/data/models目录的配置(替代之前的 NVMe SSD),核心差异在于 RAID 1 的设备识别…
-
银河麒麟 V10 SP3 环境下大模型存储设备的挂载和优化等核心操作
在麒麟 V10 SP3 环境下,完成3TB NVMe SSD 的挂载确认、模型存储目录 (/data/models) 创建、权限配置、永久挂载(避免重启失效) 等核心操作,以下是逐…
-
密码保护:基于华鲲振宇 AT800 A2 + 华为 IB 交换机 + 麒麟 OS v10 sp3 部署 DeepSeek-V3.1-GGUF
无法提供摘要。这是一篇受保护的文章。
-
11个最受欢迎的无代码AI工具
在过去一年里,人工智能与无代码的碰撞比我们任何人预想的都要快得多。我们现在看到的不再仅仅是平台在侧边栏添加一个“生成文本”按钮;我们正在见证应用程序构建方式的根本性转变。 我们正在…
-
(2026)16个最佳 AI 工具
1、S 级:人人必备的 AI 工具 毫无疑问,ChatGPT、Gemini 和 Claude 是迄今为止最好的 AI 工具。它们可以回答你的日常问题、进行网络搜索、辅助写作等等。 …
-
Unsloth+Ollama低成本定制LLM
1、本地 LLM 开发的关键概念 在深入探讨技术细节之前,让我们先探讨一些关键概念,这些概念对于我们在资源受限的硬件上进行本地 LLM 开发至关重要。 1.1 开源模型 开源 vs…
-
编译运行 llama.cpp 的完整指南与实践
引言:llama.cpp 的定位与价值 llama.cpp 是一个轻量级、高性能的 LLaMA 大语言模型推理框架,其核心优势在于纯 C/C++ 实现(无 Python 依赖)、支…
-
How to Use llama.cpp to Run LLaMA Models Locally
Large language models (LLMs) like Meta’s LLaMA have revolutionized natural language proces…
-
HuggingFace官方宣布将对GGUF格式的大模型文件增加更多的支持,未来可以直接在HF上查看GGUF文件的元数据信息!
大模型预训练结果文件格式GGUF简介 大语言模型的开发通常使用PyTorch等框架,其预训练结果通常也会保存为相应的二进制格式,如pt后缀的文件通常就是PyTorch…
-
GGUF格式的大模型文件是什么意思?gguf是什么格式?如何使用?为什么有GGUF格式的大模型文件?GGUF大模型文件与GGML的差异是啥?
在大模型领域,GGUF是一个非常常见的词语,也是非常常见的大模型预训练结果命名方式。很多模型模型,如Yi-34B、Llama2-70B等模型都有对应的GGUF版本,这些版本都模型除…
-
DeepSeek R1 gguf 模型文件下载指南:从获取到部署的全流程解析
一、gguf格式与DeepSeek R1模型核心价值 DeepSeek R1作为一款基于Transformer架构的开源语言模型,其gguf(General GPU Format)…
-
Windows11本地部署DeepSeek加速
安装Ollama 跟Ubuntu Linux上的操作比较类似,也是要从Ollama官网下载一个安装文件,然后直接双击安装就好了,没有配置安装路径的选项。安装完成后,可以在cmd中查…