从业大数据方向,需要掌握哪些技能,具体学习路线是什么?

如题所述

大数据分为大数据开发、大数据分析、数据仓库开发,每个细分职位要求技能不一样的。
大数据开发和数据仓库开发必须会编程的,大数据分析也要求会编程,不过也有只会hive和sql做分析的。
看你想转那一方面的,我平时工作中最常用这些技术
1,Java用的不深,把Javase部分吃透就行。
2,Hadoop生态,Yarn、Zookeeper、HDFS这些底层原理要懂。
3,Mapreduce和Spark开发。
4,Hbase和HIve,搞大数据这些不懂真的说不过去。
5,Mysql、Oracle和Postgres数据库操作要回,Sql要会写。
6,linux操作系统,这个简单的命令必须要懂,会写shell脚本更好了。
7,Kettle或Sqoop这种数据处理工具至少要会一个。
8,SparkSql和SparkStreaming,底层原理、内核、提交任务的过程等等,尽量深入内幕。当然也要了解Storm和Flink,Flink现在越来越火了。
9,Redis、Kafka、ElasticSearch这些都得懂,会使用,会操作,会调优。
10,impala和kylin这些尽量也要了解会用。
11,Python这个要是有能力,有精力,建议也要往深处学习,我目前正在自学中。
12,集群的问题,包括一些简单的运维知识。
我工作中常接触常用到的,其实你搞懂其中的MapReduce,Spark,kafka,HBASE,hive,ES和数据库操作 这些常用的就可以找工作了。
温馨提示:答案为网友推荐,仅供参考
第1个回答  2020-04-13

你好,大数据学习路线有8个阶段的内容,你可以按照顺序学习,祝你早日学有所成!

大数据学习路线

第2个回答  2020-04-11
一般分为开发和分析两个方向
开发就是要会Java,做数据收集层面的技术开发,需要对很多组件做二次开发 比如hadoop flume
分析就是做数据挖掘,需要用hive编程,懂hiveql本回答被网友采纳