新职业——大数据工程技术人员就业景气现状分析报告

　一、产生背景

　　大数据产业指以数据生产、采集、存储、加工、分析、服务为主的相关经济活动，包括数据资源建设，大数据软硬件产品的开发、销售和租赁活动，以及相关信息技术服务。当前，智慧医疗、智慧城市、精准扶贫以及其他相关高新技术产业都离不开大数据的支撑，大数据技术在我国得到了较为广泛的应用。

　　（一）国家实施大数据战略，构建数字中国

　　大数据被认为是“未来的新石油”，也被比喻为21世纪的“钻石矿”，在社会生产、流通、分配、消费活动以及经济运行机制等方面发挥着重要的作用。2014年大数据首次写入政府工作报告；2015年8月国务院颁布《促进大数据发展行动纲要》，大数据正式上升为国家发展战略。随后国家出台了一系列大数据政策，覆盖生态环境大数据、农业大数据、水利大数据、城市大数据、医疗大数据、交通旅游服务大数据等多层次下游应用市场，加快实施国家大数据战略。

　　同时，伴随大数据政策出台，各地政府相继成立了大数据管理机构，促进大数据产业发展，全国22个省区，200多个地市相继成立大数据管理部门。

　　图1 各省大数据管理机构设置数量（单位：个）

　　 

　　（二）大数据行业发展迅猛，产业规模巨大

　　2016年，工信部印发了《大数据产业发展规划（2016-2020年）》，全国大数据产业建设掀起热潮，目前已形成八大大数据综合试验区，建成100多个大数据产业园。伴随新一代信息技术、智慧城市、数字中国等发展战略逐步推动社会经济数字化转型，大数据的产业支撑得到强化，应用范围加速拓展，产业规模实现快速增长。

　　通过对1572家企业的调查结果显示，企业对数据分析的重视程度进一步提高，65.2%的企业已成立数据分析部门，24.4%的企业正在计划成立相关数据部门。

　　近四成的企业已经应用了大数据。在接受调查的企业中，已经应用大数据的企业有623家，占比为39.6%，垂直行业中如金融等领域大数据应用增加趋势较为明显。此外，24.3%的企业表示未来一年内将应用大数据。

　　对数据分析方式选择情况的调查显示，40.3%的企业采取实时处理动态数据并提供分析结果，占比最高；其次是分析历史数据和通过机器学习进行辅助决策，占比分别为32.3%和25.5%。不久的将来，随着人工智能技术的发展和应用普及，选择机器学习进行辅助决策的企业占比有望进一步提升。

　　2019年5月6日中国信息通信研究院发布《中国大数据与实体经济融合发展白皮书（2019年）》，书中综合国内外环境、新兴技术发展等多种因素，测算2018年我国大数据产业增速约为15%，产值达到5405亿元。另据赛迪数据显示，2018年中国大数据产业规模为4384.5亿元，同比增长23.5%；到2021年，中国大数据产业规模将超过8000亿元。

　　图2 2016-2021年中国大数据产业规模（单位：亿元）

　　 

　　从企业业务布局来看，大数据产业主要集中在华北、华东及中南地区。

　　表1 2018年中国大数据产业区域分布情况

　　 

　　（三）数据资源资产化步伐稳步推进

　　2015年8月,国务院印发《促进大数据发展行动纲要》,明确“加快政府数据开放共享,推动资源整合”。社会各界通过对数据资源的整合、利用,加速了数据流通共享以及数据资源化进程。2018年10月，《数据管理能力成熟度评估模型》发布实施，规范了各组织、机构数据管理和应用工作，提升国内数据管理和应用能力。2019年10月，在中国共产党第十九届中央委员会第四次全体会议上，中央首次公开指出“健全劳动、资本、土地、知识、技术、管理和数据等生产要素按贡献参与分配的机制。”这是中央首次在公开场合提出数据可作为生产要素按贡献参与分配，反映了随着经济活动数字化转型加快，数据对提高生产效率的乘数作用凸显，成为最具时代特征新生产要素的重要变化。

　　（四）技术融合成为大数据发展主流

　　当前，大数据相关技术已基本成熟，逐步成为支撑型的基础设施，其发展方向也开始向提升效率转变，向个性化的上层应用聚焦。随着5G通信标准的落地，物联网、移动互联网、大数据、传统行业将深度融合，算力、流批、TA、模块、云数、数智等技术融合的趋势愈发明显，大量既懂大数据技术又懂其他相关行业技术的人才在大数据应用领域发挥着越来越多的作用。

　　（五）数据安全受到业界普遍关注

　　近年来，大数据业界不断有安全事件曝出。2019年9月6日，位于杭州的大数据风控平台杭州魔蝎数据科技有限公司被警方控制，高管被带走，相关服务暂时瘫痪。同日，另一家提供大数据风控服务的新颜科技人工智能科技有限公司高管被带走协助调查。大数据安全合规的问题，特别是对于个人信息保护的问题，当前已成为整个社会和行业关注热点。

　　在全球不断收紧数据合规政策的大环境下，我国在数据法律监管方面也日趋严格规范。2019年以来，数据安全方面的立法进程明显加快。中央网信办针对网络安全审查、数据安全管理、儿童个人信息网络保护、个人信息出境安全评估等四项关于数据安全的管理办法相继发布征求意见稿。这些我国数据安全法律法规重点关注个人信息的保护，大数据行业整体合规也必然将以此作为核心。

　　二、职业定义和工作任务

　　近年来，随着经济社会发展、科学技术进步和产业结构调整，新产业、新业态、新模式滋生孕育出许多新职业。大数据技术应用在各行各业的全面展开，我国社会需要越来越多的大数据工程技术人员。其职业定义和工作任务如下：

　　大数据工程技术人员职业定义：从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。

　　大数据工程技术人员主要工作任务：

　　1.研究和开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等有关技术；

　　2.研究、应用大数据平台体系架构、技术和标准；

　　3.设计、开发、集成、测试大数据软硬件系统；

　　4.大数据采集、清洗、建模与分析；

　　5.管理、维护并保障大数据系统稳定运行；

　　6.监控、管理和保障大数据安全；

　　7.提供大数据的技术咨询和技术服务。

　　三、当前就业人群分析

　　本报告基于2019年4月对27家大数据行业典型企业的人力资源情况进行调研后分析所得。

　　（一）学历层次

　　大数据人才的学历层次分为4个大类，分别是硕士及以上、本科、专科、专科以下。

　　图3 大数据人才学历结构（单位：人）

　　 

　　可以看出，本科占比最高，其次是硕士及以上，专科占比只有12.22%。大数据行业是新兴行业，目前学历要求比较高。

　　（二）专业来源

　　专业来源分为4个大类，分别是数理类、经济管理类、计算机类及其他专业。计算机类占比最高，其次是数理类。项目组调研企业大数据人才的各专业人数和占比见下图。

　　图4 大数据人才专业来源（单位：人）

　　 

　　（三）渠道来源

　　大数据人才的渠道来源分为4个大类，分别是校招、社招、内部培养和推荐、培训机构招聘。企业大数据人才各渠道来源的人数和占比见下图。

　　图5 大数据人才渠道来源（单位：人）

　　 

　　其中社招占比最大，比校招、内培和内推以及培训机构招聘的总和还要高。大数据人才目前主要依靠社招，说明学校教育与社会需求脱节，内培和培训也不能满足岗位要求。

　　（四）薪资水平分布

　　当前，大数据人才的薪资处于相对较高水平。薪资在1万元以下，占总人数的34.6%；1万元-2万元占比为35.64%；2万以上占比为29.77%。

　　图6 大数据人才薪资水平分布（单位：人）

　　 

　　（五）岗位类型及数量

　　目前企业提供的大数据岗位按照工作内容要求，可以分为以下几类：

　　①初级分析类，包括业务数据分析师、商务数据分析师等。②挖掘算法类，包括数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师、AI工程师、数据科学家等。③开发运维类，包括大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据库管理员等。④产品运营类，包括数据运营经理、数据产品经理、数据项目经理、大数据销售等。四类岗位的数量和占比见下图。

　　图7 大数据岗位类型结构（单位：人）

　　 

　　四、行业人才需求情况

　　（一）整体需求

　　当前信息化对人类经济活动产生深刻影响，正渗透到生产生活方方面面，数据已经成为新的生产要素，大数据行业已成为人们按需使用信息处理、信息存储、信息交互资源的重要模式，也是进行大数据处理和深度挖掘的重要平台，大数据工程技术人员在我国现阶段及未来发挥的作用将日益凸显。

　　《大数据产业发展规划（2016-2020年）》指出，目前大数据人才队伍建设亟需加强，大数据基础研究、产品研发和业务应用等各类人才短缺，难以满足发展需要。要建设多层次人才队伍，建立适应大数据发展需求的人才培养和评价机制。加强大数据人才培养，整合高校、企业、社会资源，推动建立创新人才培养模式，建立健全多层次、多类型的大数据人才培养体系。

　　根据天府大数据国际战略与技术研究院(简称“天府大数据研究院”)《2018全球大数据发展分析报告》数据，2018年我国大数据产业人才占整体就业人口规模的0.23%，大约179.4万人。

　　猎聘《2019年中国AI&大数据人才大数据人才就业趋势报告》指出，2019年中国大数据人才缺口高达150万。另据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万。

　　图8  大数据人才规模及增速

　　 

　　随着大数据、物联网、5G等技术应用的不断发展，社会对该职业从业人员的需求日益增长。预计2020年中国大数据行业的人才需求规模将达到210万，2025年前大数据人才需求仍将保持30%-40%的增速，需求总量在2000万人左右。

　　（二）行业发展对大数据相关岗位产生的影响

　　从业态变化的角度看，企业需要大量的复合型人才，即能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌握的人才。从技术变化的角度看，深度神经网络等新兴技术的发展，弥补了传统分析挖掘技术在大数据时代的短板，这就需要大数据技能人才掌握深度学习方面的相关知识，适应大数据的分析挖掘需要。从运营方式的角度看，运营方式的变化要求运营人员提升运营前准备、运营中把握、运营后反馈、修正，提升预见能力和掌控能力。

　　目前企业对中高职层次的大数据人才相关岗位主要有：数据分析师、挖掘工程师、深度学习/算法/机器学习工程师、大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据库管理员、数据运营经理、数据产品经理、数据项目经理、大数据销售工程师。可以看出，行业发展引发技术革命，相对应的岗位及要求也有所变化。

　　（1）技术层面逐步由“万花筒”向“中国特色”、“中国制造”转变，中国标准逐渐成为业界标准，中国证书逐渐成为业界证书。

　　（2）技术纵深发展和横向拓展，引发企业对人才需求变化，既有岗位重新细分的高精尖专才需求，又有中等层次的广博复合型人才需求。

　　（三）岗位职责及技能要求

　　根据调研情况整理，大数据工程技术人员相关岗位的职责以及对大专以上学历人才的职业技能要求如下表。

　　

　　表2 大数据相关岗位的职责以及岗位技能要求

　　

岗位	岗位职责	岗位技能
数据分析师	负责行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测	数理统计基本知识，Excel，SQL，Python/R。
挖掘工程师	负责行业数据整理、挖掘，并依据数据做出行业研究、评估和预测	常用数据挖掘算法，SQL，Python/R/Java。
深度学习/算法/机器学习工程师	负责利用各种神经网络模型及其算法并处理具体事务。	各种神经网络模型，Python/C++/Java，TensorFlow、Caffe等深度学习系统。
大数据开发 　　工程师	使用编程语言开发大数据相关软件和应用系统	Java/Python/C++/Scala，Linux/Unix系统。
大数据架构 　　工程师	负责大数据架构的设计与实施。	分布式系统原理，Linux/Unix系统及其脚本shell等，Hadoop、Spark等大数据框架及其组件Yarn，HBase、Hive、Pig等。
大数据运维 　　工程师	负责大数据系统的运行和维护	Linux/Unix系统及其脚本shell等，Java。
数据可视化 　　工程师	负责大数据可视化应用开发，对数据分析结果多维度生动地体现。	前端框架及工具如jQuery、Vue.js、Webpack等，Web前端相关技术包括HTML/CSS/Javascript，数据可视化框架如Echars、Highcahrts、D3.js等。
数据采集 　　工程师	负责数据采集、预处理、标注等。	Linux/Unix系统，数据库如Mysql，redis，mongdb等，爬虫框架如Scrapy等等，web基础知识如HTML/JavaScript/CSS/xpath/url/Ajax/xml等，解析工具如HttpClient、jsoup、WebDriver、phantomjs等。
数据库管理员	负责数据库的运行和维护。	Linux/Unix系统，MySQL、SQL等数据库的运行机制和体系架构。
数据运营经理	负责数据的运营。	数理统计基本知识，运营方法，SQL。
数据产品经理	负责数据产品的销售。	工具如: 　　Axure;Visio,Mindmanager,Project,PPT等，BI，SQL，产品规划能力，撰写需求文档能力。
数据项目经理	负责数据项目。	项目管理工具，PMP证书，梳理流程能力。
大数据销售 　　工程师	负责大数据业务销售。	沟通能力，业务谈判能力。

　　五、职业发展通道

　　目前，长期从事数据库管理、挖掘、编程工作的人，包括传统的量化分析师方面的工程师，以及需要通过数据来进行判断决策的管理者，通过一定的培训或自学，均可成为大数据工程技术人员。

　　由于我国大数据人才数量较少、缺口较大，因此多数公司的数据部门采用扁平化层级的模式，一般分为数据分析师、资深研究员、部门总监3个级别。规模较大的公司可能按照应用领域的维度来划分不同团队，规模较小的公司则需要身兼数职。大数据工程技术人员可朝着研究方向发展，成为企业重要数据战略人才。此外，大数据工程技术人员对商业和产品的理解较业务部门员工更加深入，也可转向产品部或市场部，乃至高级管理层。

　　六、专家观点

　　两山转化数字研究院院长、杭州数梦工场研究院执行院长念灿华:数据是这个时代最重要的生产要素，政府、城市、产业数据资源的资产化、价值化、服务化是大势所趋，百行百业的数字化转型迫在眉睫。培养大数据工程技术人员对于实施国家大数据战略，构建数字中国，发展数字经济，满足当下各级政府和百行百业的海量人才需求，是非常充分而必要的。

　　工业和信息化部信息化和软件服务业司司长谢少锋：大数据开启了信息化发展的新阶段，数据已成为关键生产要素，“软件定义、数据驱动”对于推动制造业转型升级发挥着重要支撑作用。工业和信息化部作为行业主管部门，推出了一系列推动大数据产业发展的举措，下一步将扎实推进大数据战略的实施，大力推动大数据和实体经济融合，打造数字经济时代下制造业国际竞争新优势。

　　中国工程院院士、中国科学院计算所研究员倪光南：把大数据作为生产力，可能比把大数据作为一种财富更好、更全面。大数据生产力会推动生产关系的发展、推动社会的发展，会创造无穷无尽的财富，甚至将来会对我们思维的发展造成很大的变革。

　　中国科学院院士陈国良：在计算信息时代的三大标志性技术则是数字计算机、集成电路、光纤通信，新一代信息技术的三大亮点则是物联网、云计算和大数据。现在大数据潮流浩浩荡荡，大数据时代已经到来，我们要顺乎时代之潮流，不断学习新知识，与时俱进，跟上时代之步伐！计算机事业永远是年轻人的天下，大数据对年轻的一代而言，既是挑战更是机遇，无限风光在险峰！

　　阿里巴巴集团主要创始人、董事局原主席马云：大数据时代的出现让人类进入了万物互联的时代，取得对数据进行重新处理的能力也远远超过过去，对世界的认识将会提升到一个新的高度，大数据让预判和计划都成为了可能。

　　七、典型人物案例

　　（一）邵天富：投身大数据应用，创造精彩人生

　　随着政府、企业等社会组织与互联网结合得越来越紧密，自有大数据机房已经满足不了发展的需要，尽管大量的数据公司涌入，仍然无法满足高速增长的市场需求。邵天富敏锐地意识到大数据的春天来了。

　　 

　　从广东工业大学机电一体化专业毕业后，邵天富就一头扎入大数据管理“蓝海”，凭着浑然忘我、严谨细致的工作精神，不断的实践探索，经过10余年的努力，如今已是一个技术全面、经验丰富的大数据工程技术人员，并已成长为某数据服务有限公司数据中心技术骨干。

　　（二）刘岩：大数据应用的排头兵

　　研究生毕业的刘岩，怀着对公安工作的无限热爱投身到天津市某公安分局这个大家庭。从警以后，刘岩深深体会到大数据、科技信息对公安工作的深远影响，便立足岗位，在创新上下苦功，自觉提升大数据、信息化应用工作能力。自学了JAVA语言、安卓编程、搭建数据库等理论知识，并将理论知识应用于实际，自主研发了“鹰眼”手机APP系统，充分利用互联网信息资源，结合部分业务数据，打造了一个单位全员共享、交流的个性化业务平台，方便了外出办案民警随时查阅。并为该APP增加图形数据模块，使其真正成为图侦工作的重要工具，为案件侦破提供技术支撑。作为科研创新人员，刘岩被选入该市“公安智囊团队”成员、“信息化”人才库和“大数据分析挖掘应用”人才库。

　　 

　　（三）宋正龙：爱岗敬业，致力铁路大数据创新研发

　　宋正龙，毕业于大连铁道学院计算机专业，现为某车务段网络技术总监，主要负责车务段信息设备管理、维护、应用和软件开发工作。

　　 

　　参加工作30年来，他从一名普普通通的技术人员干起，一步步成长为网络数据开发的行家里手，他相继开发出适合车站的“编组顺序表”“货运制票程序”软件，极大地提高了工作效率和统计工作的准确性。

　　2014年，他所工作的单位提出创建数字化管理平台，实行全覆盖闭环管理的工作思路。宋正龙受命担当课题筹划、研发和建设任务。为设计制作好信息管理平台，他白天组织研发，晚上挑灯奋战建模，带领开发团队自主研发了管理平台、预警防控平台、作业控制平台和表簿册电子化平台。最终实现了人防、物防和技防的深度融合，推进了企业管理创新，加快了“数字连车”向“智能连车”的创新升级，得到了集团公司领导和兄弟单位的高度认可。

　　（四）荆琦：致力推动公安科技信息化的攻坚能手

　　 

　　荆琦是吉林大学计算机科学系的高材生，参加公安工作后，她致力于推动公安科技信息化建设。2009年，荆琦被评定为深圳市高层次专业技术人才，曾多次被抽调省公安厅、市公安局参与公安应用系统的研发和建设。

　　为解决公安基层存在各业务系统信息不互通、重复录入等问题，荆琦被委任为该单位信息采集攻坚团队副组长，在反复与成员讨论后，最后确立以警务综合信息系统改造为核心，以执法办案流程为主线，打通、合并、精简各条线系统的总体思路。为完成好任务，荆琦舍小家顾大家，调研、开会、沟通、协调的第一线总能看到她的身影。最终，荆琦带领的团队实现了信息“一次录入，全警共享”的目标，有力地提升了公安工作效率。

　　当有派出所民警反映涉案物品拍价既耗时间又浪费警力后，荆琦立即带领团队连夜讨论解决方案，与价格中心负责人历经十几次磋商，最终实现了价格认定系统与警综系统对接。现在，办案民警可以足不出户，只需通过警综系统发起申请，提交必要的资料，价格认定中心就能直接通过系统反馈认定结果。仅此一项工作，每年可为深圳警队减负1万余天的工作量。