(不是广告！）用本地大语言模型写h小说的办法。全部是开源模型和软件，自己去下载就行。不联网，不收费。
强调一下，全部是免费软件，不会涉及任何付费充值等东西，文件等都是在github或者huggingface等著名开源网站分享的，我只是转载他们下载地址。
做这个教程主要是我m系待得久了，一直白嫖大佬们的文，自己又不会写，做个教程多多少少算给论坛做点贡献吧。
首先强调一下，这个本地大语言模型是需要电脑有一定的配置的，尤其是对显卡的显存有一定要求。我自己的配置是12g显卡显存加32g内存，我个人建议是显卡显存至少8g才能比较流畅的玩。如果配置没达到要求可以玩收费的在线大模型，例如chub.ai等，这个我就不多介绍了。
然后本地大语言模型我主要推荐有中文对话能力的模型，因为说实话英文模型本地无论如何都不如收费的网上模型gpt claude等。
模型使用软件我教程推荐的是oobabooga，虽然是英文软件但挺小白的，下载模型和聊天配置等都比较方便。如果你是编程大佬当我没说，想用啥都行，
做这个教程主要是我m系待得久了，一直白嫖大佬们的文，自己又不会写，做个教程多多少少算给论坛做点贡献吧。
首先强调一下，这个本地大语言模型是需要电脑有一定的配置的，尤其是对显卡的显存有一定要求。我自己的配置是12g显卡显存加32g内存，我个人建议是显卡显存至少8g才能比较流畅的玩。如果配置没达到要求可以玩收费的在线大模型，例如chub.ai等，这个我就不多介绍了。
然后本地大语言模型我主要推荐有中文对话能力的模型，因为说实话英文模型本地无论如何都不如收费的网上模型gpt claude等。
模型使用软件我教程推荐的是oobabooga，虽然是英文软件但挺小白的，下载模型和聊天配置等都比较方便。如果你是编程大佬当我没说，想用啥都行，
首先随便介绍两句本地大语言模型，gpt大家想必都了解了，本地大语言模型你可以理解成在个人电脑上运行的，迷你版的，不需要联网的gpt。
相比gpt,claude等模型，本地大语言模型劣势肯定是因为规模小，知识面，逻辑能力，对于长文本理解能力等差了许多，毕竟一个在几百万的服务器上运行，一个最多在几万的电脑上运行。
那么相比gpt，本地模型（在写h文上）优势是：1、许多本地大语言模型是无审查的，例如gpt会在写色情暴力等nsfw内容时拒绝回答，要骗过gpt生成这些内容非常麻烦，但本地模型完全没有这些顾虑，想写啥就写啥。2、很多本地模型例如我推荐的gemma2等，中文能力我觉得是不输给甚至超越gpt等模型的，也就是省略了你玩gpt还要英文输入输出再翻译成中文的麻烦。3、本地模型部署完成之后就不联网，不收费。因为是开源模型，所以你从下载模型到玩，除了电脑电费什么都不需要。4、现在本地开源模型更新的非常快，能体会到各种各有特色的模型。
相比gpt,claude等模型，本地大语言模型劣势肯定是因为规模小，知识面，逻辑能力，对于长文本理解能力等差了许多，毕竟一个在几百万的服务器上运行，一个最多在几万的电脑上运行。
那么相比gpt，本地模型（在写h文上）优势是：1、许多本地大语言模型是无审查的，例如gpt会在写色情暴力等nsfw内容时拒绝回答，要骗过gpt生成这些内容非常麻烦，但本地模型完全没有这些顾虑，想写啥就写啥。2、很多本地模型例如我推荐的gemma2等，中文能力我觉得是不输给甚至超越gpt等模型的，也就是省略了你玩gpt还要英文输入输出再翻译成中文的麻烦。3、本地模型部署完成之后就不联网，不收费。因为是开源模型，所以你从下载模型到玩，除了电脑电费什么都不需要。4、现在本地开源模型更新的非常快，能体会到各种各有特色的模型。
首先介绍一下https://github.com/oobabooga/text-generation-webui，这个软件。我作为小白很推荐的大模型软件，简单易用，对话，管理人物卡，下载和部署大模型都很方便。而且第一次安装能帮你一键配置好环境。
下载地址就在刚刚的github主页中，不过我怕有人找不到就复制一下https://github.com/oobabooga/text-generation-webui/archive/refs/heads/main.zip
如何安装也在第一行的网址中有教程，简单来说就是文件解压到自己想安装的位置（所有路径必须是纯英文并且不要带特殊符号，否则有可能安装失败！我个人推荐纯英文加空格），然后在全程开启全局vpn的情况下（很重要，否则会下载失败），点击对应操作系统的初次启动文件（win就点start_windows.bat，以此类推），跟着提示选择显卡信息等，然后等待各种配置文件安装完成。
配置完成后，点击start_自己的操作系统这个文件，之后进入http://localhost:7860，就代表成功。
关于这个软件的具体介绍我推荐B站大佬的视频【oobabooga-text-generation-webui 选项与UI具体详解：简介部分-哔哩哔哩】 https://b23.tv/majvpIw，目前可以说我见过的最详细的视频教程。
下载地址就在刚刚的github主页中，不过我怕有人找不到就复制一下https://github.com/oobabooga/text-generation-webui/archive/refs/heads/main.zip
如何安装也在第一行的网址中有教程，简单来说就是文件解压到自己想安装的位置（所有路径必须是纯英文并且不要带特殊符号，否则有可能安装失败！我个人推荐纯英文加空格），然后在全程开启全局vpn的情况下（很重要，否则会下载失败），点击对应操作系统的初次启动文件（win就点start_windows.bat，以此类推），跟着提示选择显卡信息等，然后等待各种配置文件安装完成。
配置完成后，点击start_自己的操作系统这个文件，之后进入http://localhost:7860，就代表成功。
关于这个软件的具体介绍我推荐B站大佬的视频【oobabooga-text-generation-webui 选项与UI具体详解：简介部分-哔哩哔哩】 https://b23.tv/majvpIw，目前可以说我见过的最详细的视频教程。
软件弄好了，接下来就是选择对应模型。我一般是在hugging face上找模型，然后目前中文能力，大小和无审查方面结合的最好的个人觉得还是gemma2 9b
这里是量化gguf模式的下载地址，根据自己电脑的配置选择一个gguf文件，下载到对应models文件夹就可以。这里面不同的gguf是量化程度不同，简单来说就是Q后面数字越小，那么精度就越低，效果相对差一些但配置要求也宽松的多。我个人建议是选择比自己显存稍微小一些的gguf进行加载。虽然gguf格式在超出显存容量后也能用内存进行加载，但是因为硬件原因会导致生成速度非常慢。
下载地址https://huggingface.co/mradermacher/gemma-2-9b-it-SimPO-GGUF/tree/main
下载之后复制到oobabooga所在文件夹中models文件夹内，然后打开oobabooga，model栏选择上方选择对应模型，点击load，显示加载成功的话就可以进行对话了。
具体对话可以参考上面发的大佬视频教程，简单来说对话有三个模式，chat模式只会看前后文和你写的任务卡，chat-instruction模式两者都看，instruct模式只看instruction的指令
这里是量化gguf模式的下载地址，根据自己电脑的配置选择一个gguf文件，下载到对应models文件夹就可以。这里面不同的gguf是量化程度不同，简单来说就是Q后面数字越小，那么精度就越低，效果相对差一些但配置要求也宽松的多。我个人建议是选择比自己显存稍微小一些的gguf进行加载。虽然gguf格式在超出显存容量后也能用内存进行加载，但是因为硬件原因会导致生成速度非常慢。
下载地址https://huggingface.co/mradermacher/gemma-2-9b-it-SimPO-GGUF/tree/main
下载之后复制到oobabooga所在文件夹中models文件夹内，然后打开oobabooga，model栏选择上方选择对应模型，点击load，显示加载成功的话就可以进行对话了。
具体对话可以参考上面发的大佬视频教程，简单来说对话有三个模式，chat模式只会看前后文和你写的任务卡，chat-instruction模式两者都看，instruct模式只看instruction的指令
顺带一提写一下最近发现的新模型吧，都是hugging face搜名字搜得到，记得下gguf版本。
MaziyarPanahi/Mistral-Nemo-Instruct-2407-GGUF目前效果最好的，比gemma2还灵动一些
mradermacher/Qwen2-7B-Multilingual-RP-GGUF 效果稍差但在小模型里出类拔萃，适合配置稍微低一些的电脑。
MaziyarPanahi/Mistral-Nemo-Instruct-2407-GGUF目前效果最好的，比gemma2还灵动一些
mradermacher/Qwen2-7B-Multilingual-RP-GGUF 效果稍差但在小模型里出类拔萃，适合配置稍微低一些的电脑。