Hermes

Hermes 是Nous Research开发的开源指令微调大模型系列，基于 Llama 等基座模型优化，以强大的工具调用、代理能力和遵循复杂指令见长。以下是其官方渠道与下载方式的完整指南。

一、官方核心渠道

Nous Research GitHub 主页（Hermes 系列官方发布源）

地址：https://github.com/NousResearch

包含所有 Hermes 模型（Hermes 1/2/3/4）的技术文档、更新日志与开发计划

Hermes Agent（自改进 AI 代理）专属仓库：https://github.com/NousResearch/hermes-agent

Hermes 官方 Hugging Face 组织页（模型权重官方托管）

地址：https://huggingface.co/NousResearch

包含所有 Hermes 系列模型的完整权重、量化版本与模型卡片

主流模型入口：

Hermes 3（最新版）：https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B

Hermes 2：https://huggingface.co/NousResearch/Nous-Hermes-2-Llama-2-70B

二、下载方式详解

1. Ollama 快速下载（推荐，适合本地部署）

Ollama 已内置 Hermes 系列模型，一行命令即可完成下载与运行：

表格

模型版本 下载命令 说明

Hermes 3（8B） ollama pull hermes3:8b 轻量版，适合消费级 GPU

Hermes 3（70B） ollama pull hermes3:70b 完整版，性能更强

Hermes 2（经典版） ollama pull nous-hermes 基于 Llama 2 的稳定版

Hermes 3（Llama 3.2 3B） ollama pull hermes3:3b-llama3.2-fp16 超轻量实验版

运行命令：ollama run hermes3:8b（自动下载 + 启动对话）

Ollama 安装：https://ollama.com/download（支持 Windows/Mac/Linux）

2. Hugging Face 下载（适合开发与微调）

通过 Hugging Face Hub 获取完整模型权重，支持 Transformers 直接加载：

方法 A：网页手动下载

访问目标模型 Hugging Face 页面（如 Hermes 3 8B）

点击Files and versions标签

下载safetensors权重文件（推荐）或完整模型包

方法 B：命令行批量下载（Git LFS）

bash

运行

# 安装Git LFS

git lfs install

# 克隆模型仓库（以Hermes 3 8B为例）

git clone https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B

方法 C：Python 代码自动加载（推荐）

python

运行

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "NousResearch/Hermes-3-Llama-3.1-8B"

tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(

   model_name,

   load_in_4bit=True,  # 4位量化，节省显存

   device_map="auto"

)

3. 第三方量化版本（适合低显存设备）

由 TheBloke 等社区开发者提供 GGUF/GPTQ 量化版，兼容 llama.cpp、text-generation-webui 等工具：

GGUF 量化版（llama.cpp/LM Studio）：https://huggingface.co/TheBloke/Hermes-3-Llama-3.1-8B-GGUF

GPTQ 量化版（text-generation-webui）：https://huggingface.co/TheBloke/Hermes-3-Llama-3.1-8B-GPTQ

三、关键使用提示

Hermes 采用ChatML 格式（<|system|> <|user|> <|assistant|>），与之前提供的提示词模板完全兼容

工具调用能力需通过特定系统提示词启用，推荐使用官方示例模板

模型许可证遵循基座模型协议（Llama 3 需申请 Meta 商用授权）

本地部署建议：8B 模型需≥8GB 显存，70B 模型需≥24GB 显存（量化版可降低要求）

开发GG说这次真的没有bug了~