大数据培训好学吗?培训以后可以做什么工作?(在EMR上部署storm on yarn的详细步骤)
大数据培训好学吗?培训以后可以做什么工作?
大数据培训师有一定的难度的,尤其是对于逻辑思维能力的要求是比较高的,而后,是对于学历的一个要求最好是本科以上,最低也要是大专学历。只要满足这俩个要求加上自己的努力学习大数据也是比较容易的。

大数据可以从事的工作:
1、数据挖掘工程师
做数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,最基本的比如线性代数、高等代数、凸优化、概率论等。

PS:经常会用到的语言包括Python、Java、C或者C++,有些人用Python或者Java比较多。有时用MapReduce写程序,再用Hadoop或者Hyp来处理数据,如果用Python的话会和Spark相结合。
2、Hadoop开发工程师
熟练掌握Hadoop整个生态系统的组件如:Yarn,HBase、Hive、Pig等重要组件,能够实现对平台监控、辅助运维系统的开发。hadoop工程师主要是偏开发层面,指的是围绕大数据系平台系统级的研发人员, 熟练Hadoop大数据平台的核心框架,能够使用Hadoop提供的通用算法,

3、数据分析师
数据分析师 是数据师Datician['detɪʃən]的一种,指的是不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。
PS:作为一名数据分析师、至少需要熟练SPSS、STATISTIC、Eviews、SAS、等数据分析软件中的一门,一个优秀的数据分析师,应该业务、管理、分析、工具、设计都不落下。
spark必知必会的基本概念?
Spark,是一种通用的大数据计算框架,I正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等,
Spark包含了大数据领城常见的各种计算框架:比如Spark Core用于离线计算,Spark SQL用于交互式查询,Spark Streaming用于实时流式计算,Spark MILlib用于机器学习,Spark GraphX用于图计算。
Spark主要用于大数据的计算,而Hadoop以后主要用于大数据的存储(比如HDFS、Hive,HBase等),以及资源调度(Yarn)。
Spark+Hadoop的组合,是未来大数据领域最热门的组合,也是最有前景的组合
到此,以上就是小编对于edr部署方式的问题就介绍到这了,希望这2点解答对大家有用。