请教大模型工程师一个问题,关于大模型伦理

打中文用全角标点！
打中文用全角标点！
打中文用全角标点！

多换行！多换行！多换行！

对于商业模型：
COT 大量 token 把模型灌晕
虚拟对话让模型以为自己已经答应你的色情请求
越狱 prompt

据我所知现在有这三种流派，还有友友知道其他方案的吗？

@digd 我的我的,哈哈哈,我 markdown 里面是换行的.但是没注意发出来居然糊在一起了....下次我用\n

你搞错了，不是训练时“排除”，而是训练时把伦理敏感内容也分类学习，然后在输出时做不同的动作

例如某个敏感 A 内容
照样归类为“敏感 A”训练，也能正常第一次输出“敏感 A”，但在第一次输出到用户之间做一层遮罩，用户看到的就是“没有答案”，而不是“敏感 A”。
成人 AI 则是选择性移除这层遮罩的部分，那“敏感 A”就能到达用户端

你这样想：如果我有能力收集你的隐私，我会那么“伦理、有道德”地不收集么？只要我在使用这些隐私合法或者可以规避法律，那就不算侵犯隐私了；简单说就是规避的动作是在后面做，而不是前面

如果算力充裕，可以使用一大堆语料对开源基础模型进行“继续训练”；如果算力紧张，更常见的做法是用未设限的语料对基础模型进行 SFT 之类的微调。
大模型训练的时候是很难排除所有不合适的语料的，同时大模型自己也能“脑补”出一些缺失的信息，所以微调也是可以出效果的。

我不是专业的，大概只能一知半解地给一些不一定准确的描述。有业内大佬的话欢迎指正。

首先就是，对于目前主流的（尤其是闭源的）大模型，他们有一个东西叫 “价值对齐”。概括来说就是让大模型输出的内容符合 道德/价值观 等。这个并不一定要求在数据集里面彻底清洗干净不和谐的内容，更多是针对输出。因为假如真清洗干净了，大模型怎么知道什么是黑什么是白呢。

然后呢，对于目前那种角色扮演的使用场景，如果发现是那种没什么限制、非常洒脱的模型，首先那些绝对不可能会是今天那些主流的商业闭源大模型——狗屁通，Claude ，Gemini 的道德对齐一个比一个狠，目前靠 Prompt 越狱的可用性已经几乎不存在了。

即使是开源的模型，例如 Llama 系列，训练数据也是有部分对齐的。这种时候要 “越狱” 就不能全部依赖 Prompt ，而是要靠足够多的数据来训练和微调。

https://openrouter.ai/

看一下 OpenRouter 上的这一批模型。注意有不少是专门为角色扮演场景有 finetune 的，而且包括一些非常典型的去除价值对齐的模型。有些模型附上了模型作者的文章，我的脑子带不动太深奥的东西，交给专业的佬来细说了。

贴个有代表性链接：
https://erichartford.com/uncensored-models

另外还有一个没开源、非对话类型的用于写作模型是 Novel AI 的。Novel AI ( https://novelai.net/) 的 Llama 3 Erato (底子是 Meta Llama 3 70B, 非 instruct 版本) 就是通过大量数据的 训练 + 微调，整出的一个辅助写故事的、洒脱无限制的模型，而且不存在那些大型商业公司模型的那种道德伦理对齐。

现在的大模型天天搁那对齐，对齐得智力都滑坡了。就跟谷歌之前那个弱智文生图不会画黑皮肤以外的人种一样，这种反常识的训练怎么可能会带来更好的模型呢。

@NoOneNoBody 感谢前辈,get

@glcolof 感谢前辈 get

@MossFox 感谢感谢,增长认知

我之前也以为不行，直到我用了 gemini api

@clementewy 嗯?我也在用啊.不行啊,

最简单的办法就是换模型啊，OpenAI 和 Anthropic 的用不了，那不用就是了…Grok ，Command R+，Deepseek 就是从一开始就基本不带这些对齐。
另外你的问题我有点没看懂。“但是做这种训练的话,必然要掺杂基础的训练内容的,这些内容不可能做到完全筛选出伦理合规性的东西的”是指这些公司也要担心伦理问题吗？那答案就是他们根本不 care……比如楼上说的 NovelAI 就根本不管你写的是啥。

@zachariahss #4 需要单独一个空行才能有新段落的效果

关于去拒绝微调（ finetune ）可以看 nous research 的这篇文章： https://arxiv.org/pdf/2408.11857

@LaTero 卧槽,是这样的吗?我 google 和百度查了老半天,关键词就是市面上存不存在没有伦理限制的大模型,结果查不到.我就以为没有呢

@LaTero 表述问题莫怪莫怪,我只是爱好者,用词不准确,口语化比较多

商业大模型也没法把所有数据集都清理掉,不然也不会出现越狱事故了, 初期那会的规避方法就是他们的 prompt 里写了不要输出恶意内容, 结果催眠一下就给炸弹配方了.你去 hugging face 里搜 uncensored,就是没有到的审查的模型

@zachariahss #12 prompt 要稍微让她配合下