一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

一位三年工作經(jīng)驗的工程師告訴你:如何成為一名大數(shù)據(jù)開發(fā)工程師

工程師人生 ? 來源:網(wǎng)絡(luò)整理 ? 作者:工程師吳畏 ? 2018-06-06 17:31 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

1.關(guān)于我

本人現(xiàn)在北京某大型互聯(lián)網(wǎng)公司高級數(shù)據(jù)開發(fā)工程師一枚,三年工作經(jīng)驗,一年多面試官經(jīng)驗。

2.為啥要寫這篇文章?

面試中經(jīng)常會遇到這種情況:之前專心寫web的Java碼農(nóng)突然轉(zhuǎn)型想做大數(shù)據(jù)了,然后寫幾個大數(shù)據(jù)的項目經(jīng)驗跑來面試,結(jié)果就是一問三不知,還有好多人只是搭了個Hadoop環(huán)境就說自己是搞大數(shù)據(jù)的,然后來面數(shù)據(jù)開發(fā),結(jié)果肯定悲劇。一般情況下,面試失敗的我都會送走,然后針對不同的人給點建議。面試候選人一激動就要加微信,最后的結(jié)果就是人沒招來幾個,微信好友加了不少。這篇文章基本上就是一些經(jīng)驗的匯總。

3.正題

首先,我個人進入大數(shù)據(jù)行業(yè)也純屬偶然,當(dāng)年實習(xí)的時候做的是純純的Java開發(fā),后來正式畢業(yè)了以后找了份Java開發(fā)的工作,本以為和大多數(shù)Java猿一樣天天搞增刪改查了,但是巧的是搞好部門有個做大數(shù)據(jù)開發(fā)的離職了,數(shù)據(jù)開發(fā)缺人手,然后領(lǐng)導(dǎo)就讓我頂上了。剛開始什么Hadoop,HDFS也是各種不懂,只會寫hive,因為畢竟有SQL基礎(chǔ)嘛。再后來發(fā)現(xiàn)hive實現(xiàn)一些東西很麻煩,就開始學(xué)習(xí)spark。網(wǎng)上找的例子,從Wordcount入手,邊寫簡單的例子邊看《Hadoop權(quán)威指南這本書》,不到一周時間就上手寫了一個計算報表數(shù)據(jù)的作業(yè)。后來就不斷深入,過程之中覺得《Hadoop權(quán)威指南》這本書每一次讀都有不同的體會,前前后后應(yīng)該讀了有三四遍吧。
總體感受就是理解了分布式計算的模型,就知道如何寫mapreduce了。但是如何進行作業(yè)優(yōu)化以及數(shù)據(jù)處理過程中遇到的問題如何解決就需要更深入的研究。
前面提到來面試的有應(yīng)屆生也有工作幾年的,針對不同的人給一些不同的建議。

3.1 對應(yīng)屆生

個人覺得應(yīng)屆生應(yīng)該打好基礎(chǔ),大學(xué)本科一般都會開設(shè)數(shù)據(jù)結(jié)構(gòu),算法基礎(chǔ),操作系統(tǒng),編譯原理,計算機網(wǎng)絡(luò)等課程。這些課程一定要好好學(xué),基礎(chǔ)扎實了學(xué)其他東西問題都不大,而且好多大公司面試都會問這些東西。如果你準(zhǔn)備從事IT行業(yè),這些東西對你會很有幫助。
至于學(xué)什么語言,我覺得對大數(shù)據(jù)行業(yè)來說,Java還是比較多。有時間有興趣的話可以學(xué)學(xué)scala,這個語言寫spark比較棒。
集群環(huán)境一定要搭起來。有條件的話可以搭一個小的分布式集群,沒條件的可以在自己電腦上裝個虛擬機然后搭一個偽分布式的集群。一來能幫助你充分認(rèn)識Hadoop,而來可以在上面做點實際的東西。你所有踩得坑都是你寶貴的財富。
然后就可以試著寫一些數(shù)據(jù)計算中常見的去重,排序,表關(guān)聯(lián)等操作。
對于我來說,面試應(yīng)屆生就問你的基礎(chǔ),筆試大多是數(shù)據(jù)結(jié)構(gòu)和算法方面的,如果你基礎(chǔ)不錯而且有一定的大數(shù)據(jù)方面的經(jīng)驗,基本上都會過。

3.2 對有工作經(jīng)驗想轉(zhuǎn)行的

主要考察三個方面,一是基礎(chǔ),二是學(xué)習(xí)能力,三是解決問題的能力。
基礎(chǔ)很好考察,給幾道筆試題做完基本上就知道什么水平了。
學(xué)習(xí)能力還是非常重要的,畢竟寫Javaweb和寫mapreduce還是不一樣的。大數(shù)據(jù)處理技術(shù)目前都有好多種,而且企業(yè)用的時候也不單單使用一種,再一個行業(yè)發(fā)展比較快,要時刻學(xué)習(xí)新的東西并用到實踐中。
解決問題的能力在什么時候都比較重要,數(shù)據(jù)開發(fā)中尤為重要,我們同常會遇到很多數(shù)據(jù)問題,比如說最后產(chǎn)生的報表數(shù)據(jù)對不上,一般來說一份最終的數(shù)據(jù)往往來源于很多原始數(shù)據(jù),中間又經(jīng)過了n多處理。要求你對數(shù)據(jù)敏感,并能把握問題的本質(zhì),追根溯源,在盡可能短的時間里解決問題。
基礎(chǔ)知識好加強,換工作前兩周復(fù)習(xí)一下就行。學(xué)習(xí)能力和解決問題的能力就要在平時的工作中多鍛煉。
社招的最低要求就上面三點,如果你平日還自學(xué)了一些大數(shù)據(jù)方面的東西,都是很好的加分項。
以上是個人的一些經(jīng)歷和見解,希望能幫到你。當(dāng)然也不完全正確,如果你認(rèn)為不妥可以評論開噴,哈哈。
最后祝各位看官都找到稱心如意的工作!

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 工程師
    +關(guān)注

    關(guān)注

    59

    文章

    1590

    瀏覽量

    69456
  • 大數(shù)據(jù)
    +關(guān)注

    關(guān)注

    64

    文章

    8959

    瀏覽量

    140103
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    問,成為硬件工程師需要幾只手?#硬件工程師 #YXC晶振 #揚興科技 #搞笑

    硬件工程師
    揚興科技
    發(fā)布于 :2025年04月25日 17:15:37

    如何成為一名合格的KaihongOS南向驅(qū)動開發(fā)工程師

    如何成為一名合格的南向驅(qū)動開發(fā)工程師 1. 我需要具備哪些方面的知識? KaihongOS南向適配的方向分為:驅(qū)動開發(fā)、內(nèi)核
    發(fā)表于 04-23 08:02

    如何成為一名合格的KaihongOS北向應(yīng)用開發(fā)工程師

    :參加相關(guān)的培訓(xùn)、研討會或會議,不斷提升自己的技能。 10. 獲得認(rèn)證 專業(yè)認(rèn)證:如果可能,獲取相關(guān)的專業(yè)認(rèn)證,這可以增加你的可信度和市場競爭力。 成為一名合格的北向應(yīng)用開發(fā)工程師
    發(fā)表于 04-23 06:46

    如何成為一名嵌入式軟件工程師

    如何成為一名嵌入式軟件工程師? 01明確崗位的角色與定位 嵌入式軟件工程師主要負(fù)責(zé)開發(fā)運行在特定硬件平臺上的軟件,這些軟件通常與硬件緊密集
    發(fā)表于 04-15 14:37

    招拿捏電子工程師#被AI拿捏了 #電子工程師 #電子電工

    電子工程師
    安泰小課堂
    發(fā)布于 :2025年03月25日 17:30:51

    如何成為嵌入式開發(fā)工程師?

    ,參加相關(guān)的研討會和培訓(xùn)課程,閱讀專業(yè)書籍和論文。 9. 認(rèn)證和網(wǎng)絡(luò):- 考慮獲取相關(guān)認(rèn)證,這可以增加你的市場競爭力。- 加入專業(yè)組織和在線社區(qū),擴展的人際網(wǎng)絡(luò)。 通過上述步驟的學(xué)習(xí)和實踐,可以逐步成長為一名合格的嵌入式
    發(fā)表于 02-19 10:39

    電子工程師的電源設(shè)計經(jīng)驗分享

    作為一名電子工程師,電源設(shè)計直是我在工作中重點關(guān)注的領(lǐng)域。電源設(shè)計不僅需要扎實的理論基礎(chǔ),還需要豐富的實踐經(jīng)驗。以下是我多年
    的頭像 發(fā)表于 01-21 15:53 ?510次閱讀

    電子工程師的電路設(shè)計經(jīng)驗分享

    本文分享了電子工程師在電路設(shè)計方面的豐富經(jīng)驗,包括項目開發(fā)步驟、電路設(shè)計核心思想、元器件選擇與優(yōu)化等內(nèi)容,旨在幫助初學(xué)者快速提升電路設(shè)計能力。
    的頭像 發(fā)表于 01-21 15:13 ?678次閱讀

    電子工程師經(jīng)驗分享

    電子工程師在實際工作中積累了豐富的經(jīng)驗,這些經(jīng)驗對于新手工程師和電子專業(yè)的學(xué)生具有重要的參考價值。
    的頭像 發(fā)表于 01-14 10:14 ?600次閱讀

    如何成為一名合格的南向驅(qū)動開發(fā)工程師

    內(nèi)核開發(fā) - c,cmake,dts, linux常用命令 以上,如能對某模塊的南向適配研究透徹,自行調(diào)通,積極解決問題。那么對一名kaihongOS的南向驅(qū)動開發(fā)
    發(fā)表于 01-10 10:06

    如何成為一名合格的北向應(yīng)用開發(fā)工程師

    自己的技能。 10. 獲得認(rèn)證 專業(yè)認(rèn)證 :如果可能,獲取相關(guān)的專業(yè)認(rèn)證,這可以增加你的可信度和市場競爭力。 成為一名合格的北向應(yīng)用開發(fā)工程師需要時間和努力,通過不斷學(xué)習(xí)和實踐,
    發(fā)表于 01-10 10:00

    為什么嵌入式驅(qū)動開發(fā)工程師可以拿高薪?

    為什么嵌入式驅(qū)動開發(fā)工程師可以拿高薪? 嵌入式驅(qū)動開發(fā),屬于需求量大、薪資斷崖式升高的熱門崗位,在市場的發(fā)展驅(qū)動下成為“風(fēng)口”。從市場的整體需求來看,嵌入式系統(tǒng)的應(yīng)用隨著5G、物聯(lián)網(wǎng)
    發(fā)表于 01-07 16:56