请教个神经网络的问题

2021-12-30 09:47:05 +08:00
 zxCoder

在改一份代码,网络结构是一个 bert ,一个 dropout 层和最后一个 linear 层

我在把多分类改成多标签分类

就改改数据的输入输出格式,加个 sigmoid 激活函数

但是结果出现了问题,发现 loss 一直在降,但是 acc 缺掉到 0 ,一看才发现,练着练着,最后 linear 层输出是一个特别小的负数,而且越来越小,然后经过 sigmoid 后全部预测为 0 ,所以 loss 算起来还是很低

这种情况可能是出现什么问题呢

1577 次点击
所在节点    问与答
23 条回复
zxCoder
2022-01-01 17:29:19 +08:00
@ipwx 还是没啥效果,真是奇怪,同样的数据,在别的模型上就挺正常的,在这个模型上就不行,网络结构都是一个 bert ,一个 dropout 层和最后一个 linear 层
ipwx
2022-01-01 18:12:24 +08:00
摸不到你的数据所以没法远程给建议了(趴
zxCoder
2022-01-06 20:41:44 +08:00
@ipwx 最后解决方案:去 tm 的开源代码,自己重新复现了一份,精度正常了。。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/825206

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX