一、职位体系
大数据时代,给个人带来了新的发展机会,也给个人提供了新的职位发展通道。
一些同仁从其他岗位转向大数据岗位时,面对众多的大数据招聘职位时,却不知所措,不知道应该选择什么样的职位发展方向。
我收集并整理了一下各个公司的招聘职位,试图梳理当前大数据岗位体系,并寻找出一条合适的职位发展通道,希望对大家有用。
当前大数据职位,从总的来说,主要有两大类:应用类和系统类。
应用类
应用类,偏向于数据分析和数据应用,经常说到的数据分析、数据挖掘,就是典型的应用技术。这一类职位,要求采用适当的分析和挖掘方法对数据进行分析,提取数据中隐含的业务信息,来支撑企业决策。
最典型的职位就是:大数据分析师。
大数据分析师:主要是指,基于业务问题,能够选择最合适的数据分析和数据挖掘方法,提取数据中的业务信息,从而支撑业务决策。要求熟悉数据分析/挖掘过程,掌握数据分析/挖掘方法,理解数据分析模型,熟练操作数据分析工具(比如Excel、SPSS、SAS等)。一般对于大数据分析师,其能力要求比较全面,不管是业务逻辑、还是分析方法、模型、可视化,都要求全面掌握。
业务数据分析师:侧重于商业理解,要求能够将业务问题和商业问题,转化为大数据的问题,并将分析结果从业务层面进行解读,从而形成业务建议和业务策略。要求熟悉业务逻辑和业务模型,掌握数据分析思路,能将数据可视化,对数据解读等。当然,类似的职位还有大数据观察员、大数据研究员等等,这些都侧重于商业理解。
大数据建模/算法师:侧重于数据建模,能够围绕业务问题,构建合适的数据分析框架和分析模型,将业务问题进行分解,从而达到定性或定量来描述业务的目的。要求熟悉数据建模、模型评估、模型优化、模型应用等等。
大数据算法师:侧重于数据模型的算法研究、设计与实现,为达到分析目的,对实现算法进行分析、选择与优化,确保实现性能及效果。一般情况下,算法师往往和建模师在一起工作,因为算法,往往指的是某个对应模型的算法。
系统类
系统类,偏向于系统研发,比如Hadoop系统、云计算,就属于系统类技术。这一类职位,要求熟悉Hadoop大数据平台的核心框架和组件,能够基于大数据平台来写代码开发应用,支撑业务应用。
最典型的职位就是:大数据工程师。
大数据开发工程师:负责大数据系统的开发工作,能够运用编程语言进行应用程序的开发、测试和维护,实现产品功能。要求掌握编程语言,如JAVA、R、Python等等。
大数据架构师:负责大数据系统的平台架构设计、平台构建。要求熟悉Hadoop/Storm/Spark等平台,熟悉整个生态系统的组件,有平台级开发和架构设计能力等等。
大数据运维工程师:侧重于大数据平台运维管理,包括系统运维规划、系统监控、系统优化等等,保障大数据平台服务的稳定性和可用性。掌握平台各组件的安装、配置与调试,有良好的系统性能优化及故障排除能力。
大数据库管理员:侧重于数据库/数据倒仓库的设计、开发、管理和优化,监控数据库的性能、故障检测和排除,包括数据采集,数据库架构设计,空间和容量规划,性能优化,数据安全和隐私,数据容错,等等。
当然,在不同的企业中,职位的名称和叫法有所不同,或者会衍生出新的职位,但基本的岗位职责是类似的。
二、职位发展通道
前面说过,大数据职位至少有两大类,一类是应用类,另一类是系统类。这两类的职位最终的发展应该有不同,也可以相互融合,就看个人的选择发展。
基本的发展通道如下所示:
应用类
应用类职位,这一类往往是从业务出发,从精通业务,到精通数据分析,所以基本的发展方向有两个。
通道一:业务分析员à业务分析师à产品经理/分析专家;
大数据分析员,一般也叫做助理分析师,指的是在高级数据分析师的指导下,采用常用的分析方法和分析工具,提炼出数据中蕴含的业务信息。一般要求分析员能够熟练使用分析工具,明确分析方法背后的理论及应用场景。
大数据分析师,指的是能够处理复杂的业务问题的数据分析人员,他们能够将复杂的问题进行分解,系统地全面地分析出复杂问题的业务规律和业务问题。一般,要求分析师对业务和分析都要有较深的认识,熟悉业务模型,也熟悉数据模型,并能基于业务数据分析结果给出业务建议和业务策略,支撑企业决策。
数据产品经理,指的是数据产品的项目管理人员。产品经理负责数据产品策划、需求分析、功能规划,以及规划产品的商业模型,推广策略,负责组建团队进行产品开发等等。要求产品经理具有数据思维能力,不但要有深刻的数据分析/业务理解能力,还要有数据产品的设计与管理能力,以及较强的产品运营能力。
通道一适合于业务部门的人员转行做数据分析。
他们从懂业务出发,通过学习系统的数据分析和数据挖掘知识,掌握相应的分析方法、分析思路、分析模型,从单个业务问题的分析到复杂问题的分析,从常用统计分析到高深的数据挖掘/机器学习等知识,逐步上升到分析专家或者资深分析师。
通道二:数据分析员à数据建模/算法师à分析专家/产品经理;
数据建模/算法师,侧重于数据建模,以及算法研究。基于对商业问题的理解,选择或构建出合适的数据分析框架和分析模型,以及实现算法,从而达到定性或定量的实现业务数据分析,提供数据驱动业务服务。
大数据分析专家,或者叫做高级/资深分析师,他们对业务领域有系统全面的理解,能构建整个业务分析框架及建立某领域的业务分析体系,形成系统全面的企业决策系统。
一般情况下,资深的分析专家与产品经理在能力上应该是相当的,只是产品经理侧重于产品管理与产品运营,而资深分析专家更侧重于业务数据分析。
通道二适合于高校毕业生做数据分析。
他们在学校接受过正规的数理统计、数据挖掘、算法实现等知识,掌握了较全面的数据分析/挖掘方法。他们只需要再深入了解一些业务知识,就能够很快地将业务和分析结合,快速地成长为分析专家。一般地,算法工程师,往往是高校的研究生和教授来担当。
系统类
系统类职位,属于系统研发,其发展通道与一般的IT技术人员的职位发展通道基本类似,只不过是基于大数据平台进行研发。
通道三:开发工程师à系统设计师à大数据架构师
开发工程师,俗称码农,偏向于写代码,负责大数据系统的开发工作,在系统设计师的指导下,运用编程语言进行应用程序的单个模块的开发、测试和维护。
系统设计师,负责大数据产品系统的设计,要求熟悉Hadoop/Spark/Storm等大数据平台,熟悉大数据系统平台的核心框架及组件,能够基于大数据系统进行应用系统设计/开发/优化/部署。
大数据架构师,负责大数据系统的技术架构设计,平台选择与构建,要求有平台级开发和架构设计能力,能够搭建整个商业大数据系统的平台。
通道三适合于一般IT开发工程师转行做大数据。
他们有着较强的编程和写代码的能力,本身对编程语言(如Java/R/Python等)较熟悉,只需要再了解一下大数据开源平台Hadoop的编程原理及运行思想,就能够比较容易地转入大数据系统的开发和测试,并通过不断地扩宽对产品其他模块甚至整个系统的了解,逐步上升到系统设计,以及架构设计的高度。
通道四:数据库管理员à运维工程师à大数据架构师
数据库/数据仓库管理员,指的是大数据仓库的设计、管理和优化,负责大数据的分布式存储、组织与管理,包括性能优化、故障检测、数据安全等等。
大数据运维工程师,指的是大数据平台运维管理,包括系统运维规划、系统监控、系统优化等等。
通道四适合于数据库管理员转行到大数据。
他们本来就熟悉数据库/数据仓库技术,原来的技能很容易移植到大数据的数据库(如Hbase,Hive等)上来。在数据仓库基础上,再扩展到其他模块,熟悉其他组件的技术原理,工作机制,直至整个大数据系统,这样可快速地上升到系统运维及大数据架构师。
通道五:大数据安全员à大数据安全工程师à大数据安全专家
大数据安全,这是一个相对独立的领域,主要专注于大数据系统的安全工作。
大数据安全员,要求了解基本的数据安全知识,能够在安全专家指导下,利用常用的安全工具和手段,执行对系统和数据的安全防范措施。
大数据安全工程师,要求理解大数据系统各组件的安全实现,深入理解网络安全、数据安全、信息安全等,包括身份认证、权限控制、数据加密、入侵检测、系统安全加固、漏洞修复、通信安全、安全审计、数据防泄漏等等,和确保大数据系统的安全。
大数据安全专家,要求熟悉大数据安全模型和安全机制,能够构建大数据系统安全体系,制定大数据安全策略和方案,以及完善和优化大数据系统安全机制。
大数据安全专家发展的最高职位应该是CSO(首席安全官),或者叫CDSO(首席数据安全官)。CDO应该能够深入理解职责管辖下的数据安全需求,对比分析数据安全解决方案优劣,侧重于大数据的安全管理和流程,能制定数据安全规范和相关安全标准。
通道五适合于负责网络信息安全的人士转行到大数据。
他们基于原有的网络安全、信息安全知识,结合当前大数据系统的实现原理和安全运行机制,就能快速上手,确保大数据平台架构的安全。
不管是从应用类,还是系统类,大数据专家发展的最高职位都应该是数据科学家或CDO(首席数据官)。当然,数据科学家侧重于大数据技术(包括应用技术和系统技术),而CDO,则侧重于企业管理和决策。
当然,从能力要求看起来,大数据在应用类的最高职位也可以是CIO(首席信息官),侧重于从业务信息层面来解读大数据;系统类的最高职位也可以是CTO(首席技术官),侧重于从技术系统层面来引领大数据;安全类的最高职位是CSO(首席安全官),侧重于大数据的安全。
CDO(首席数据官)/数据科学家,负责企业大数据的战略规划,制定企业大数据的发展战略和布局,实现企业数据有效支撑企业的发展。
CTO(首席技术官),是企业技术的创建者和推动者,负责制定企业的技术愿景和发展战略,把握总体技术研究与发展方向,并对技术选型进行指导和把关。
CIO(首席信息官),负责规划企业的信息资源,制定企业信息化战略和布局,整合企业信息流、物流、资金流资源,运用信息管理技术重建企业的决策体系,包括企业流程再造等等。CIO是为业务而设立的。
CSO(首席安全官),主要是指CDSO(首席数据安全官),负责整个企业大数据的安全运行状态,制定大数据系统的安全措施、安全规则和安全标准,负责整个企业大数据系统的安全方案和安全策略。
不管是CDO、CIO、CTO,都是企业管理者,只是职责细分上的差异。
企业的性质不同,有可能设置的CXO岗位也不一样。那些对数据有较强依赖的企业,诸如金融、电子商务、互联网企业等,都会设置CDO角色;那些以信息化服务为主的企业,诸如ERP企业、OA企业,一般设置CIO角色;那些以技术擅长的企业,诸如高科技企业、IT公司,一般设置CTO角色。
在一个大数据企业中,CDO有可能就是CIO,也有可能就是CTO,或者CDO将完全代替CIO和CTO。
当然,你有可能在各大公司的职位招聘中看到更多的职位,各种职位,五花八门,但总体来看,不外乎是上面提到的大数据职位的一些细化和变化。
|