去中心化的大模型 LLM 服务

ChatBot 的 demo： https://chat.xzyao.dev/

最近重写了一个业余项目 - 在一个 p2p 的网络上跑 LLM ，目前实现比较简单：通过 p2p 把 request forward 到对应的节点的 port 上，目前兼容了 OpenAI 的 API ，理论上应该可以和大部分 OpenAI 的应用兼容。现在跑了两个模型，可以在 chatbot 的界面里看到。

长期目标有两个：

• 支持用户绑定自己的钱包，这样在本地 serve 其他人的 request 可以拿到 token ，然后用来支付一些本地没办法 serve 的模型。
• 和其他的用户一起 serve 一个大的模型，类似 petals ，但它实在太慢了。

GitHub: https://github.com/autoai-org/OpenComputeFramework

另外感谢开源的 UI 实现： https://github.com/anse-app/anse