mysql 表里数据 清洗 整理的问题

2020-11-27 11:50:31 +08:00
 kikione

第一次接触数据方面的业务。

需求是这样： 有五六张表，都是接近 1 千万的数据。想对这几张表进行清洗，然后根据业务 生成几张新的表。

请问 java 方面有哪些比较高效的技术？一般的方案都是怎么处理的？

1834 次点击
所在节点    程序员
3 条回复
hejw19970413
2020-11-27 12:11:17 +08:00
我以前用 SQL 的语句干过，大量的数据用 SQL 处理后，一定会有错误的数据，那就得人手动的写脚本执行清洗。
zhangysh1995
2020-11-27 15:09:08 +08:00
这好像不是个 mysql 问题，是个数据处理和 Java 方案问题？
hezeming
2020-11-28 09:16:04 +08:00
有错误的数据写的 mysql 脚本加判断应该可以避免吧，还是说有什么意外的场景

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/729805

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX