2023 了后端还可以准转大数据吗？

[大数据已死]( https://www.ruanyifeng.com/blog/2023/03/weekly-issue-244.html)

大数据要是二开组件还行。你要是转去 SQL boy 不如留在 Java

大部分的企業的數據一個 u 盤都可以拷走

这个和 java 后端很相似，但坑位少很多，都被培训班给干烂了。

开发也分为三大方向吧，
1.二开，对开源组件定制化，技术要求很高，普遍五年以上
2. 离线数仓，sql boy ，
3.实时数仓 ，java 技术栈，目前也快走向 sql boy 路线了，原来的时候 2 和 3 分开招聘，现在招聘都要求会，基本就是写 sql + java


尚硅谷 黑马 很多培训班也都培训，坑位原本就少，卷的人还贼多。

说个笑话，Java 虽然卷，但毕竟还能大家一起卷。小众语言，不是这些语言不卷，而是门槛超高+坑位稀缺，你又不是大佬，根本就得不到卷的机会。

大数据已死，老老实实写 java ，再学个 python 和 go ，再学点前端，自己折腾个东西，说不定以后是你的主业。

自学过，现在还是在干 java 后端，坑位太少，实时数据处理 java 需求才会多点

@xieren58 这种听都没听说过的语言，国内真的有公司用吗？真要搞得 run 出去了吧。

Java 开发，划掉 -> Web 后端
大数据，划掉 -> 数据工程（ Data Engineer ？）

学一点 Python, Shell, SQL, Scala, Spark, CI/CD ，熟悉一下各种 OLTP/OLAP/NoSQL 数据库，了解下 Airflow 这类 pipeline 和 schedule 框架，AWS/Azure/阿里云 /腾讯云之类云平台熟悉一两个。

感觉挺杂的，不过比较重要的是 Python 多熟悉一下，干活方便快，Java 熟悉方便直接看框架源码，基本都 Java/Scala 写的。Spark 要学到应付各种底层原理八股文。

只说大数据开发相关，因为这是我正在的领域，注意是开发，开发，开发，不是写 SQL 的

1 大厂会基于开源框架做二开，甚至自研框架，如果能进大厂的话还是有搞头的

2 中小公司能上大数据的公司也不少，基本都是基于开源框架开发应用，比如基于 Spakr 的批、基于 Flink 的流，运营系统、用户行为、推荐系统等等，这就类似 java web 的增删改查了，都有现成的解决方案，照着写就行了。

3 专门做数据分析的公司，比如做数据分析平台的神策、友盟、talkingdata 等

大数据现在也很卷，十年前会搭建 hadoop 平台，就能轻松 30+，现在你精通 spark 、flink 源码，也很难 30+

@vincent7245 老哥我目前在做的是个数据平台，基于 springcloud 微服务那一套，目前有用到 flink cdc 做二次开发，所以本人想往数据平台开发方向走，不知道能不能加个 vx 交流下

@noparking188 java 方面没问题，现在是大数据组件没那么熟悉，目前工作中 flink cdc ，doris 有用到

@hoodzwh Java 后端进大厂和大数据进大厂哪个相对容易一些啊

@NoOneNoBody 想走数据平台开发，boss 上搜了一下，中小厂搞大数据平台还有一些

@sadfQED2 也是目前两手准备，找不到大数据平台研发，就继续走 java 后端

@Betsy 想走大数据平台研发

@haimianbihdata 是这么个理，数据平台，二开组件，目前有做 flink cdc 的二开，但是整体还是偏向 java 后端，springcloud 那一套微服务

@tensorzhang 做二开才有搞头，要求高，但是竞争也小

@suqiuluck 那解决社区的 issue 是个不错的方式，解决的多了就可以考虑进他们背后的公司了