大數(shù)據(jù)開(kāi)發(fā)就業(yè)：大數(shù)據(jù)開(kāi)發(fā)有哪些崗位

在大數(shù)據(jù)的發(fā)展當(dāng)中，對(duì)相關(guān)專(zhuān)業(yè)人才的需求是在持續(xù)增長(zhǎng)的，包括大數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)分析挖掘等不同的數(shù)據(jù)處理環(huán)節(jié)，都形成了相應(yīng)的崗位體系，大家各自負(fù)責(zé)不同的環(huán)節(jié)，共同完成大數(shù)據(jù)處理任務(wù)。今天我們主要來(lái)講講大數(shù)據(jù)開(kāi)發(fā)就業(yè)，了解大數(shù)據(jù)開(kāi)發(fā)有哪些崗位？

首先，大數(shù)據(jù)開(kāi)發(fā)通常指的是基于大數(shù)據(jù)產(chǎn)業(yè)鏈的一系列開(kāi)發(fā)任務(wù)，涉及到大數(shù)據(jù)平臺(tái)開(kāi)發(fā)、大數(shù)據(jù)應(yīng)用開(kāi)發(fā)等，另外還包括數(shù)據(jù)采集產(chǎn)品的開(kāi)發(fā)、數(shù)據(jù)整理產(chǎn)品的開(kāi)發(fā)等等，如果向上延伸的話(huà)，部分大數(shù)據(jù)開(kāi)發(fā)任務(wù)與人工智能開(kāi)發(fā)任務(wù)也具有密切的聯(lián)系。

大數(shù)據(jù)開(kāi)發(fā)分兩個(gè)層次：

大數(shù)據(jù)開(kāi)發(fā)通常有兩層含義，一層是進(jìn)行大數(shù)據(jù)平臺(tái)自身的開(kāi)發(fā)，這屬于研發(fā)級(jí)開(kāi)發(fā)任務(wù)，通常稱(chēng)作大數(shù)據(jù)平臺(tái)開(kāi)發(fā)。

比如說(shuō)大數(shù)據(jù)平臺(tái)Hadoop就是采用Java語(yǔ)言開(kāi)發(fā)的。整個(gè)大數(shù)據(jù)平臺(tái)還涉及到一系列產(chǎn)品，包括HBase、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等，開(kāi)發(fā)和維護(hù)這些產(chǎn)品往往需要一個(gè)龐大的技術(shù)團(tuán)隊(duì)。

所以平臺(tái)開(kāi)發(fā)，通常是要行業(yè)當(dāng)中頗具實(shí)力的頭部企業(yè)去做。像Hadoop生態(tài)下的各種技術(shù)框架組件，托管在Apache旗下開(kāi)源，除了最初的研發(fā)團(tuán)隊(duì)，也會(huì)有很多的Contributor在出力維護(hù)。

通常來(lái)說(shuō)，從事大數(shù)據(jù)平臺(tái)開(kāi)發(fā)的程序員往往需要具備豐富的開(kāi)發(fā)經(jīng)驗(yàn)，同時(shí)具備較強(qiáng)的研發(fā)能力，能夠搭建出一個(gè)穩(wěn)定的分布式計(jì)算體系。

大數(shù)據(jù)開(kāi)發(fā)的另一層含義是在大數(shù)據(jù)平臺(tái)下進(jìn)行大數(shù)據(jù)應(yīng)用開(kāi)發(fā)，比如在Hadoop、Spark平臺(tái)下進(jìn)行具體的大數(shù)據(jù)應(yīng)用開(kāi)發(fā)，應(yīng)用級(jí)開(kāi)發(fā)難度要相對(duì)小一些，但是往往需要與具體的場(chǎng)景進(jìn)行緊密的聯(lián)系，需要開(kāi)發(fā)者具備一定的行業(yè)背景知識(shí)。

具體來(lái)說(shuō)，大數(shù)據(jù)應(yīng)用開(kāi)發(fā)主要的任務(wù)有兩個(gè)，其一是進(jìn)行已有軟件產(chǎn)品的大數(shù)據(jù)改造；其二是針對(duì)于具體的大數(shù)據(jù)需求進(jìn)行全新的大數(shù)據(jù)應(yīng)用開(kāi)發(fā)。在企業(yè)當(dāng)中，大數(shù)據(jù)落地應(yīng)用的初期，大數(shù)據(jù)改造的開(kāi)發(fā)任務(wù)會(huì)相對(duì)多一些，而隨著需求的不斷變化，新的大數(shù)據(jù)開(kāi)發(fā)任務(wù)會(huì)逐漸增加。

目前行業(yè)當(dāng)中常說(shuō)的大數(shù)據(jù)開(kāi)發(fā)，其實(shí)更多是指數(shù)據(jù)研發(fā)偏ETL方向；大數(shù)據(jù)平臺(tái)開(kāi)發(fā)，則是指開(kāi)發(fā)各種簡(jiǎn)化數(shù)據(jù)任務(wù)編程的平臺(tái)，國(guó)內(nèi)常見(jiàn)的有阿里的Dataworks、網(wǎng)易的猛犸等。

事實(shí)上，在企業(yè)招聘當(dāng)中，大數(shù)據(jù)開(kāi)發(fā)的崗位Title還有更多，具體命名不同，在企業(yè)當(dāng)中所規(guī)劃出來(lái)的崗位職責(zé)也不同，作為技術(shù)開(kāi)發(fā)者，需要結(jié)合崗位技能需求來(lái)不斷提升自己的技術(shù)水平實(shí)力。

*文章內(nèi)容和圖片均來(lái)源于網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系刪除。