gguf
-
密码保护:基于华鲲振宇 AT800 A2 + 华为 IB 交换机 + 麒麟 OS v10 sp3 部署 DeepSeek-V3.1-GGUF
无法提供摘要。这是一篇受保护的文章。
-
AI大模型量化方法及下载地址
1. 什么是模型量化 模型量化是将高精度的模型(通常为 32 位浮点数 FP32 或 16 位浮点数 FP16 )的权重和激活值转换为低精度模型(如 8 位整数 INT8)的过程。…
-
HuggingFace官方宣布将对GGUF格式的大模型文件增加更多的支持,未来可以直接在HF上查看GGUF文件的元数据信息!
大模型预训练结果文件格式GGUF简介 大语言模型的开发通常使用PyTorch等框架,其预训练结果通常也会保存为相应的二进制格式,如pt后缀的文件通常就是PyTorch…
-
GGUF格式的大模型文件是什么意思?gguf是什么格式?如何使用?为什么有GGUF格式的大模型文件?GGUF大模型文件与GGML的差异是啥?
在大模型领域,GGUF是一个非常常见的词语,也是非常常见的大模型预训练结果命名方式。很多模型模型,如Yi-34B、Llama2-70B等模型都有对应的GGUF版本,这些版本都模型除…
-
DeepSeek R1 gguf 模型文件下载指南:从获取到部署的全流程解析
一、gguf格式与DeepSeek R1模型核心价值 DeepSeek R1作为一款基于Transformer架构的开源语言模型,其gguf(General GPU Format)…