大数据的核心技术是什么？怎么学大数据比较合理？

如题所述

推荐答案 2020-09-18

大数据技术的核心技术是：

在大数据产业中，主要的工作环节包括：大数据采集、大数据预处理、大数据存储和管理、大数据分析和大数据显示和应用的挖掘（大数据检索、大数据可视化、大数据应用、大数据安全性等）。)简单地说，三个是数据、数据、数据I.大数据数据的获取和预处理大数据采集一般分为大数据智能传感层，主要包括数据传感系统、网络通信系统、传感适配系统、智能识别系统和软硬件资源访问系统，实现了结构化、半结构化和非结构化海量数据的智能识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等功能。基本支持层：提供虚拟服务器、结构化、半结构化、非结构化数据数据库和物联网资源.大数据预处理：完成接收数据的初步识别、提取、清理等操作。通用相关技术：支持日志系统中各种数据发送者定制的水槽NG实时日志收集系统，用于采集数据，同时简单处理数据，Logstore是开源服务器端数据处理流水线，可以同时从多个源采集数据，数据被转换，然后将数据发送给"存储库"；SQOP用于将关系数据库和Hadoop中的数据传送到Hadoop，Hadoop中的数据可以导入到关系数据库中；Zookeeper是提供数据同步服务的分布式、开源分布式应用程序协调服务。

数学知识数学知识是数据分析师的基础知识。对于初级数据分析师，了解一些描述统计相关的基础内容，有一定的公式计算能力即可，了解常用统计模型算法则是加分。对于高级数据分析师，统计模型相关知识是必备能力，线性代数（主要是矩阵计算相关知识）最好也有一定的了解。而对于数据挖掘工程师，除了统计学以外，各类算法也需要熟练使用，对数学的要求是最高的。分析工具对于初级数据分析师，玩转Excel是必须的，数据透视表和公式使用必须熟练，VBA是加分。另外，还要学会一个统计分析工具，SPSS作为入门是比较好的。对于高级数据分析师，使用分析工具是核心能力，VBA基本必备，SPSS/SAS/R至少要熟练使用其中之一，其他分析工具（如Matlab）视情况而定。对于数据挖掘工程师……嗯，会用用Excel就行了，主要工作要靠写代码来解决呢。编程语言对于初级数据分析师，会写SQL查询，有需要的话写写Hadoop和Hive查询，基本就OK了。对于高级数据分析师，除了SQL以外，学习Python是很有必要的，用来获取和处理数据都是事半功倍。当然其他编程语言也是可以的。对于数据挖掘工程师，Hadoop得熟悉，Python/Java/C++至少得熟悉一门，Shell得会用……总之编程语言绝对是数据挖掘工程师的最核心能力了。业务理解业务理解说是数据分析师所有工作的基础也不为过，数据的获取方案、指标的选取、乃至最终结论的洞察，都依赖于数据分析师对业务本身的理解。对于初级数据分析师，主要工作是提取数据和做一些简单图表，以及少量的洞察结论，拥有对业务的基本了解就可以。对于高级数据分析师，需要对业务有较为深入的了解，能够基于数据，提炼出有效观点，对实际业务能有所帮助。对于数据挖掘工程师，对业务有基本了解就可以，重点还是需要放在发挥自己的技术能力上。逻辑思维这项能力在我之前的文章中提的比较少，这次单独拿出来说一下。对于初级数据分析师，逻辑思维主要体现在数据分析过程中每一步都有目的性，知道自己需要用什么样的手段，达到什么样的目标。对于高级数据分析师，逻辑思维主要体现在搭建完整有效的分析框架，了解分析对象之间的关联关系，清楚每一个指标变化的前因后果，会给业务带来的影响。对于数据挖掘工程师，逻辑思维除了体现在和业务相关的分析工作上，还包括算法逻辑，程序逻辑等，所以对逻辑思维的要求也是最高的。数据可视化数据可视化说起来很高大上，其实包括的范围很广，做个PPT里边放上数据图表也可以算是数据可视化，所以我认为这是一项普遍需要的能力。对于初级数据分析师，能用Excel和PPT做出基本的图表和报告，能清楚的展示数据，就达到目标了。对于高级数据分析师，需要探寻更好的数据可视化方法，使用更有效的数据可视化工具，根据实际需求做出或简单或复杂，但适合受众观看的数据可视化内容。对于数据挖掘工程师，了解一些数据可视化工具是有必要的，也要根据需求做一些复杂的可视化图表，但通常不需要考虑太多美化的问题。协调沟通对于初级数据分析师，了解业务、寻找数据、讲解报告，都需要和不同部门的人打交道，因此沟通能力很重要。对于高级数据分析师，需要开始独立带项目，或者和产品做一些合作，因此除了沟通能力以外，还需要一些项目协调能力。对于数据挖掘工程师，和人沟通技术方面内容偏多，业务方面相对少一些，对沟通协调的要求也相对低一些。快速学习无论做数据分析的哪个方向，初级还是高级，都需要有快速学习的能力，学业务逻辑、学行业知识、学技术工具、学分析框架……数据分析领域中有学不完的内容，需要大家有一颗时刻不忘学习的心。

温馨提示：答案为网友推荐，仅供参考

当前网址：http://11.wendadaohang.com/zd/Pqv72S84M224S7S8P2.html

其他回答

第1个回答 2023-06-25

大数据的核心技术包括：大数据采集、大数据预处理、大数据存储、大数据分析。包含了以下2个学习方向：数据库开发工程师和数据分析师。

数据库开发工程师(Database Developer)

是从事数据库管理系统(DBMS)和数据库应用软件设计研发的相关工作人员的统称，他属于软件研发工程师，但又有一部分运维工作的内容。他主要从事软件研发的工作，但同时也要参与数据库生产环境的问题优化和解决。

数据库开发工程可以接触到最前沿的数据库系统，目前业界比较流行的数据库系统主要分为关系型的和非关系型的，这些数据库都成为当前国内外大型公司的底层存储系统。

数据开发公司在大数据公司有需求场景，在国内比如Sandalwood等大数据公司都在招聘数据工程师。

数据分析师

是数据师Datician的一种，指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。

如果想学数据分析师，则需要先学会统计学及Excel，后续还要Python，有的数据公司会要求做数据处理时采用Python来避免数据统计错误产生。