如何从头构建一个自己的大模型呢？从底层最基础的神经网络开始实现

62 天前
 lenqu

我最近闲来无事，想系统性的学习一下神经网络，之前看到的都很片面，希望有懂的推荐一下

1543 次点击
所在节点    机器学习
9 条回复
TimeNewRome
62 天前
实现不了.深度神经网络有三部分: 数据 模型 训练
TimeNewRome
62 天前
@TimeNewRome 孤立的一个人在没有足够的经费的情况下, 什么都做不了.
paopjian
62 天前
大模型? 不如先从传统机器学习学起? sklearn 上的功能模型学一下决策树 svm 之类的, 再开始深度学习, 从 rnn cnn 到 resnet 最后是 tansformer, 最终参数量大了就可以叫大模型了
NewYear
62 天前
现代的 AI 引擎的训练量是非常恐怖的，你可以理解为一个显卡运行几年才理解完成，才能得出这么好的效果。

别说服务器，电费都是个问题。
NewYear
62 天前
回忆一下，你有没有听过给照片里的汽车“拉框”的兼……职工作？看似 AI ，全是人力确认才交给 AI 引擎去训练！
leaves98
62 天前
系统性的话，最好看书吧，西瓜书，花书
Sawyerhou
62 天前
从花书开始。
me007
62 天前
https://github.com/rasbt/LLMs-from-scratch/blob/main/ch02/01_main-chapter-code/ch02.ipynb 从 0 开始
huangyezhufeng
25 天前
自荐一波： https://github.com/ai-glimpse/toyllm

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/1104401

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX