人工智能
-
DeepSeek R1 gguf 模型文件下载指南:从获取到部署的全流程解析
一、gguf格式与DeepSeek R1模型核心价值 DeepSeek R1作为一款基于Transformer架构的开源语言模型,其gguf(General GPU Format)格式是专为GPU加速设计的模型权重文件格式。相较于传统格式,gguf具有三大技术优势:…
-
Windows11本地部署DeepSeek加速
安装Ollama 跟Ubuntu Linux上的操作比较类似,也是要从Ollama官网下载一个安装文件,然后直接双击安装就好了,没有配置安装路径的选项。安装完成后,可以在cmd中查看ollama的版本: DeepSeekmodels> ollama --ve…
-
Ubuntu Linux部署DeepSeek
安装Ollama 以下是DeepSeek生成的关于Ollama的介绍的一个片段: Ollama 是一个开源工具,专门用于在本地运行、管理和部署大型语言模型(LLMs,Large Language Models)。它简化了 LLMs 的安装、配置和运行流程,支…
-
Windows(Win10/Win11)本地部署DeepSeek全流程指南
一、部署前准备:硬件与软件环境要求 1.1 硬件配置建议 DeepSeek模型对硬件资源有明确要求: 内存:7B参数模型建议≥16GB,32B参数模型需≥32GB 显卡:NVIDIA显卡(CUDA支持)可显著提升推理速度,RTX 3060及以上型号…
-
Windows 本地部署 DeepSeek:从安装到运行
1 先来简单了解一下DeepSeek DeepSeek是一家中国人工智能公司,总部位于浙江省杭州市。 该公司成立于2023年7月17日,创始人兼首席执行官为梁文峰。 DeepSeek的首个产品是一款开源的大型语言模型(LLM),名为DeepSe…
-
昇腾上部署deepseek-r1-distill-llama-70b
环境要求 硬件 硬件要求: 当前支持Atlas 800I A2 显存需求: DeepSeek-R1-Distill-Llama-70B相关模型权重占用情况如下表所示。此外,据推理后端加速特性,实际占用视具体情况而定。 模型 数据类型 权重占用显存 (G…
-
麒麟信安操作系统DeepSeek离线部署教程
部署架构 麒麟信安操作系统支持部署在国内外主流X86、ARM芯片架构的终端上,本文以飞腾D2000 CPU桌面终端 麒麟信安桌面操作系统V3 DeepSeek R1部署组合为例,部署架构如下图: 部署方法 准备工作 (1)提前从百度网…
-
银河麒麟系统部署Deepseek
一、系统要求 1.硬件要求 处理器: x86_64 架构,至少 4 核 内存: 至少 8GB RAM 存储: 至少 50GB 可用空间 2.部署软件 Kylin-Server-V10-SP3-General-Release-2303-X86_64 ollama open-webui 二、安装与配置 1.系…
-
DeepSeek-V3.1动态3-bit量化模型发布:重新定义大模型部署效率
DeepSeek-V3.1-Terminus-GGUF量化模型正式发布,通过Unsloth Dynamic 2.0技术实现3-bit超低比特量化,在Aider Polyglot多语言编程任务中达到75.6%准确率,接近主流大模型水平,同时内存占用减少75%,为边缘计算场景…