當前位置:偏方大全网 - 藥品查詢 - 誰能成為大數據工程師?

誰能成為大數據工程師?

大數據是時下非常時髦的壹個專業術語,同時自然也催生了壹些與大數據處理相關的職業,通過對數據的挖掘和分析來影響企業的經營決策。

這群人在國外被稱為數據科學家(Data Scientist),這個稱謂最早是由D.J. Pati和Jeff Hammerbacher在2008年提出的,他們後來分別成為LinkedIn和Facebook數據科學團隊的負責人。而現在,數據科學家這壹職位已經開始在電信、零售、金融、制造、物流、醫療和教育等美國傳統行業創造價值。

但在中國,大數據的應用剛剛萌芽,人才市場還不那麽成熟,"妳很難指望壹個通才去完成整個鏈條上的所有環節。更多的企業會根據自身已有的資源和短板,招聘能夠補充現有團隊不足的人才。"LinkedIn中國商業分析與戰略總監王宇耀告訴《第壹財經周刊》。

因此,每家公司對大數據崗位的要求也不盡相同:有的強調數據庫編程,有的突出應用數學和統計學知識,有的要求有咨詢公司或投行工作經驗,有的則希望找懂產品、懂市場的應用型人才。正因為如此,很多公司會針對自己的業務類型和團隊分工,給這群與大數據打交道的人壹些新的稱謂和定義:數據挖掘工程師、大數據專家、數據研究員、用戶分析專家等都是國內公司經常出現的Title,我們統稱為 "大數據工程師"!".

王玉耀認為,在壹個成熟的數據驅動型公司,"大數據工程師 "往往是壹個團隊,即從數據收集、整理和呈現、分析和商業洞察,到市場轉化的全過程。這個團隊可能包括數據工程師、分析師、產品專家、營銷專家和業務決策者****,以完成從原始數據到商業價值的轉化,壹言以蔽之,這是支持企業做出商業決策和發現商業模式的重要群體。

大數據在中國仍處於早期發展階段,因此能從中挖掘出多少價值完全取決於工程師個人。已經進入該行業的專家已經給出了壹些大致的框架,其中包括計算機編碼技能、數學和統計學背景,當然還有對特定領域或行業的深入了解,這些都有助於做出快速判斷並找出關鍵因素。

雖然對於壹些大公司來說,擁有碩士學歷是更好的選擇,但阿裏巴巴集團研究員薛桂榮強調,學歷並不是最重要的因素,能夠有大規模的數據處理經驗和喜歡在數據海洋中尋寶的好奇心會更適合這項工作。

除此之外,壹名優秀的大數據工程師還必須具備邏輯分析能力,能夠快速定位業務問題的關鍵屬性和決定因素。"他要知道哪些是相關的,哪些是重要的,什麽樣的數據最有使用價值,如何快速找到每個企業最核心的需求"。聯合國百度大數據聯合實驗室數據科學家沈誌勇說。學習能力可以幫助大數據工程師快速適應不同的項目,在短時間內成為這個領域的數據專家;溝通能力可以讓他們的工作更加順利,因為大數據工程師的工作主要分為兩種方式:由市場部門驅動和由數據分析部門驅動,前者需要經常了解產品經理的開發需求,後者需要找運營部門了解數據模型實際轉化情況。

萬寶盛華集團管理合夥人嚴立平表示,您可以將這些需求作為努力成為大數據工程師的方向,因為這是壹個很大的人才缺口。目前,中國的大數據應用大多集中在互聯網領域,超過56%的企業正準備開展大數據研究。"未來五年,94%的企業將需要數據科學家"。嚴麗萍說。所以她也建議,壹些原本在企業從事與數據工作相關的人員可以考慮轉型。

本期《第壹財經周刊》采訪了BAT、國內三大互聯網公司以及相關領域的人力資源專家,他們從職場的角度解讀了如何成為壹名大數據工程師以及此類崗位的就業現狀。

壹、大數據工程師是做什麽的?

用阿裏巴巴集團研究員薛桂榮的話說,大數據工程師是壹群 "玩數據 "的人,玩數據的商業價值,讓數據變成生產力。大數據與傳統數據最大的區別在於,它是在線的、實時的、規模龐大的、形式不規則的,沒有條條框框可循,所以 "會玩 "這些數據的人非常重要。

沈誌勇認為,如果把大數據想象成壹座不斷積累的礦山,那麽大數據工程師的工作就是:"第壹步是定位、提取信息所在的數據集,相當於探礦、采礦。第二步是把它變成可以直接判斷的信息,相當於冶煉。最後壹步是應用,將數據可視化等"。

因此,分析歷史、預測未來、優化選擇是大數據工程師 "玩數據 "時最重要的三項工作。通過這三個方向的工作,他們可以幫助企業做出更好的業務決策。

找出過去事件的特征

大數據工程師的壹項非常重要的工作就是分析數據,找出過去事件的特征。例如,騰訊的數據團隊正在建設壹個數據倉庫,以梳理公司所有網絡平臺上的海量不規則數據信息,並總結出可以查詢的特征,以支持公司對廣告、遊戲開發、社交網絡等各類業務的數據需求。

識別過去事件特征的最大作用在於可以幫助公司更好地識別消費者。通過分析用戶過去的行為軌跡,可以了解這個人並預測他的行為。"妳可以知道他是壹個什麽樣的人、他的年齡、他的興趣愛好、他是否是付費網民、他喜歡玩什麽類型的遊戲、他平時喜歡在網上做什麽"。騰訊雲計算有限公司北京研發中心總經理鄭立峰告訴《第壹財經周刊》。下壹步到業務層面,可以針對各類人群推薦相關服務,比如手遊,也可以根據不同特點和需求衍生出新的業務模式,比如微信的電影票業務。

預測未來可能發生的情況

通過引入關鍵因素,大數據工程師可以預測未來的消費趨勢。在阿裏媽媽的營銷平臺上,工程師們正試圖通過引入天氣數據來幫助淘寶賣家做生意。"舉個例子,如果今年夏天不熱,很可能某些產品的銷量就不如去年,除了空調、電扇,打底衫、泳衣也可能受其影響。那麽我們就會建立天氣數據和銷售數據之間的關系,找到與之相關的品類,提前提醒賣家周轉庫存"。薛桂榮說。

在百度,沈誌勇支持壹些 "百度預測 "產品的模型開發,試圖用大數據服務更廣泛的人群。已經上線的包括世界杯預測、高考預測、景點預測等。以百度景點預測為例,大數據工程師需要收集壹段時間內可能影響景點人流量的所有關鍵因素,對全國各個景點未來的擁堵情況進行預測和分級--未來幾天是順暢、擁擠,還是普遍擁堵?

尋找優化結果

根據企業的業務性質,大數據工程師可以將數據分析用於不同的目的。

在騰訊的案例中,鄭立峰認為反映大數據工程師工作的最簡單、最直接的例子就是選項測試(AB Test),它可以幫助產品經理在備選方案 A 和備選方案 B 之間做出選擇。過去,決策者只能根據經驗做出判斷,而如今,大數據工程師可以通過進行大規模的實時測試來幫助營銷部門做出最終選擇--例如,在社交網絡產品中,讓壹半用戶看到 A 界面,另壹半用戶使用 B 界面,並在壹段時間內觀察和統計點擊率和轉化率。

阿裏巴巴作為壹家電子商務公司,希望通過大數據鎖定精準人群,幫助賣家更好地進行營銷。"我們更期待的是,妳能找到這樣壹群人,他們比現有用戶對產品更感興趣"。薛桂榮說。壹個淘寶的例子是,壹家人參賣家原本推廣的目標人群是產婦,但工程師在挖掘數據之間的關聯性後發現,針對孕婦的營銷轉化率更高。

B所需能力

數學和統計學相關背景

在我們采訪的三家大型 BAT 互聯網公司中,對大數據工程師的要求都是碩士或博士學位,並具有統計學和數學背景。沈誌勇認為,缺乏理論背景的數據工作者更容易進入技能危險區--壹堆數字,按照不同的數據模型和算法總能初步得出壹些結果,但如果妳不知道那意味著什麽,那就不是真正有意義的結果,而且那樣的結果也容易誤導妳。"只有掌握了壹定的理論知識,才能理解模型,復用模型,甚至創新模型,解決實際問題"。沈誌勇說。

計算機編碼技能

實際開發技能和大規模數據處理能力是成為大數據工程師的必備要素。"因為數據的價值很大程度上來自於挖掘的過程,妳必須動手才能發現金子的價值"。鄭立峰說。

例如,現在人們在社交網絡上產生的許多記錄都是非結構化數據,如何從這些毫無頭緒的文字、語音、圖像甚至視頻中抓取有意義的信息,這就需要大數據工程師親自動手挖掘。即使在某些團隊中,大數據工程師的職責側重於業務分析,熟悉計算機處理大數據的方式也非常重要。

對特定應用領域或行業的了解

在嚴立平看來,大數據工程師角色的壹個重要方面是不能脫離市場,因為大數據只有與特定領域的應用相結合才能產生價值。因此,在壹個或多個垂直行業的工作經歷可以為求職者積累行業知識,這對以後成為大數據工程師非常有幫助,因此也是應聘這個職位時比較有說服力的加分項。

"他不能只懂數據,還要有商業頭腦,不管是零售、醫藥、遊戲還是旅遊等等,要對其中的壹些領域有壹定的了解,最好是符合公司的業務方向。"薛桂榮對此表示。以前我們說有些奢侈品銷售員很勢利,看壹眼就知道人家買不買得起,但這部分人恰好是有洞察力的,我們認為他們是這個行業的專家。另壹個例子是了解醫療保健行業的人,他們在考慮醫療保險業務時,不僅會與人們的醫院就診記錄相關聯,還會與飲食數據相關聯,這些都是基於對該領域的了解。"

C 大數據工程師的職業發展

如何成為壹名大數據工程師

由於目前大數據人才匱乏,企業很難招聘到合適的人才--既要受過高等教育,最好還要有大規模數據處理方面的經驗。因此,許多公司將通過內部挖掘來獲得人才。

今年8月,阿裏巴巴舉辦了壹場大數據比賽,將天貓平臺的數據,去掉敏感問題,放到雲計算平臺上,交給7000多個團隊進行比賽,比賽分為內部賽和外部賽。"這樣既能激勵內部員工,也能發現外部人才,讓各行各業的大數據工程師脫穎而出"。

嚴麗萍建議,目前長期從事數據庫管理、挖掘、編程的人員,包括傳統的定量分析人員、Hadoop方面的工程師,以及在工作中需要通過數據進行判斷決策的管理者,比如某些領域的運營管理者,都可以嘗試這個崗位,而各個領域的人員只要學會利用數據,也可以成為大數據工程師。

薪資待遇

作為IT行業的 "大熊貓",大數據工程師的收入可以說已經達到了頂峰。據閻麗萍觀察,國內IT、通信行業的招聘中,有10%都與大數據有關,而且這個比例還在不斷上升。閻麗萍說:"大數據時代的到來非常突然,國內發展勢頭激進,而人才非常有限,現在完全是供不應求的局面。"在美國,大數據工程師的平均年薪高達17.5萬美元,而據了解,在國內頂尖的互聯網型企業中,同級別大數據工程師的薪酬可能比其他崗位高出20%~30%,頗受企業重視。

職業發展路徑

由於大數據人才數量相對較少,大多數企業的數據部門壹般都是扁平化的層級模式,大致分為數據分析師、高級研究員、部門總監三個層級。大公司可能會根據應用領域的維度劃分不同的團隊,而在小公司,妳需要戴好幾頂帽子。壹些特別重視大數據戰略的互聯網公司會設立另壹個最高職位,如阿裏巴巴的首席數據官。"這個崗位上的大部分人都會向研究方向發展,成為重要的數據戰略人才"。閻利瑉說。另壹方面,大數據工程師對業務和產品的理解不亞於業務部門的員工,因此他們也可以轉到產品或市場部門,甚至晉升到公司的高級管理層。

  • 上一篇:銷售過期食品問如何處罰
  • 下一篇:狗狗生病吃什麽藥
  • copyright 2024偏方大全网