大数据分为两个方向,大数据开发工程师和大数据分析员。学习大数据开发就是学习各种编程语言,学习大数据分析就是学习行业知识,学习数据分析等等。大数据是个很大的概念,它包含了很多分支,而且有很多就业方向。
数据工程师应该学习些什么?
一、java语言基础
java介绍,熟悉eclipse开发工具,java语言基础,java过程控制,java字符串,java数组和对象,数字处理类和核心技术,i/o与反射,多线程,swing程序和集合类。
二、html,css和javascript
电脑端的网站布局,html5+css3的基础,webapp的页面布局,本机的javascript交互功能开发,ajax的异步交互,jquery应用。
三、javaweb和数据库
javaweb开发核心数据库,javaweb开发内幕。
四、linux和hadoopt系统
linux,hadoop离线计算概要,分布式数据库库,数据仓库,数据迁移工具sqoop,flume分布式日志框架。
五、实战(企业实操项目)
资料取得,资料处理,资料分析,资料呈现,资料应用。
六、spark生态系统
python编程语言,scala编程语言,spark大数据处理,spark—streaming大数据处理,spark—mlib机器学习,spark—graphx计算。
七、storm生态系统。
storm技术体系结构,storm原理和基础,消息队列kafka,redis工具,zookeeper,详细说明,
实践1:日志报警系统项目。
实践2:猜你喜欢这个系统的实践。
大数据分析的第8阶段——ai(人工智能)
数据分析工作环境准备&数据分析基础,数据可视化,python机器学习。
python语言机器学习。
图像识别与神经网络,自然语言处理与社交网络处理,实战项目:户外设备识别与分析。
数据分析师应该学习什么?
一、了解企业。做数据分析工作的先决条件是要懂得业务,即熟悉行业知识,熟悉公司业务及流程,好有自己独到的见解,如果脱离了行业认知和公司业务背景,分析的结果只会是脱线的风筝,使用价值不大。
二、懂得管理。首先是数据分析框架构建的要求,比如,确定分析思路需要运用市场营销、管理等理论知识来指导,如果对管理理论不熟悉,很难构建数据分析框架,后续的数据分析也很难进行。另一方面是对数据分析的结论提出有指导意义的分析建议。
三、理解分析。就是指掌握了数据分析的基本原理和一些有效的数据分析方法,并能够灵活地运用于实际工作中,从而有效地进行数据分析。其基本分析方法有:对比分析、分组分析、交叉分析、结构分析、漏斗图分析、综合评价分析、因素分析、矩阵关联分析等。先进的分析方法有:相关性分析、回归分析、聚类分析、判别分析、主元分析、因素分析、对应分析、时序分析等。
四、了解工具。就是掌握与数据分析有关的常用工具。资料分析方法是理论,资料分析工具是实现资料分析方法理论的工具,面对日益庞大的资料,我们不能只靠计算器来分析,而要靠强有力的资料分析工具来帮助我们完成资料分析工作。
五、了解设计。了解数据分析的基本原理和方法,掌握数据分析的基本原理和方法,对数据分析有一定的了解。图形设计是一门培训中心问,如图形的选择、排版、色彩搭配等,都需要掌握一定的设计原理。
大数据的就业方向:
一、hadoop大数据发展方向
旺盛的市场需求,是大数据培训的主体,当前it培训机构的重点。
相应职位:大数据开发工程师,爬虫工程师,数据分析人员等。
二、数据挖掘,数据分析及机器学习等方面的研究。
研究起点高,难度大,市场上只有极少数培训机构在做。
职位描述:数据科学家,数据挖掘工程师,机器学习工程师等。
三、大数据运营与云计算的发展方向
对linux和云计算的需求是中等的,市场是偏重的。
相应职位:大数据运营工程师;
主要有三个职业发展方向:
大数据开发方向;所涉及的职位有:大数据工程师,大数据维护工程师,大数据研发工程师,大数据架构师等;
数据挖掘,数据分析和机器学习方向;所涉及的职位有:大数据分析员,大数据工程师,大数据分析员,大数据挖掘师,大数据算师等;
大数据运营与云计算方向;相应岗位:大数据运营工程师;
大数据开发是三个方向的基础。就拿hadoop开发工程师来说,hadoop的入门月薪已经达到8k以上,工作1年月薪达到1.2w以上,而拥有2-3年工作经验的hadoop人才可以达到30-50万,一般需要大数据处理的公司基本上都是大公司,所以学大数据也是进入大公司的捷径。对任何一个方向都很精通的人,都会前途无量。
温馨提示
温馨提示