Big Data 大數據工程師就業養成班  第1期  廖同學
前言

當初我大學選擇科系(機械系)時是按分數填的,而非興趣。因此在大學時期便不斷嘗試、接觸各種領域,希望可以找到自己興趣。台大快畢業時開始接觸 Coursera 線上學習課程,修習一些與資訊工程相關的課, 令我深深著迷,決定未來想進入資訊相關領域。考量到近年流行趨勢,再加上個人先前有接觸過一點統計及股票分析,最後決定報名參加能同時結合資訊工程、統計及股票分析的『Data Engineer 巨量資料分析就業養成班』(iSpan資展國際Big Data巨量資料分析就業養成班的前身)。

心得分享

在五個月的課程,讓我能夠從「資料蒐集」、「資料儲存」、「資料分析」,一直到「資料呈現」,完成一個完整的數據分析循環。而其中每一項都學到了不只一種方法。

「資料蒐集」:先搜尋有無API工具,若沒有,也能使用Java或R語言自己寫出爬蟲程式來蒐集需要的資料。

「資料儲存」:根據資料的特性和分析需求,將蒐集的資料放入像 SQL Server 的關聯式資料庫,或是像 MongoDB 的非關聯式資料庫。若資料量非常大,也能自行架設出 Hadoop 叢集環境,配合 Apache Hive 或 Hbase 來儲存、管理。

「資料分析」:無論是專攻統計學的R語言,還是有易於上手的使用者介面且能直接結合 Excel 的 Microsoft DataMining工具,還是微軟開發的雲端運算平台Azure。三種工具我們在課堂上都有實際使用,並對資料進行分析。

「資料呈現」:使用R語言的套件或最近火紅的 D3.js,做出讓人一目了然的圖表,或是做出互動式網站,讓使用者能藉由瀏覽器直接對資料庫的資料進行操作、分析。 Excel 的 Microsoft DataMining工具,還是微軟開發的雲端運算平台Azure。三種工具我們在課堂上都有實際使用,並對資料進行分析。

而在眾多的課程裡,個人最有心得的分別是 Java 以及 R 語言。一方面是因為大學有接觸過 C 語言,所以對程式語言上手比較快速。記得剛上完 Java 時,因為對網路爬蟲充滿興趣,於是自己上網找了 Jsoup 的 Java 網路爬蟲套件,結合課堂知識自行摸索,寫出一支小小的 Java 爬蟲程式。至於 R 語言的部份則結合了資料清理、資料蒐集、機器學習以及資料採礦等相關技術。在台北資策會學習的期間,因為我在 R 語言的課堂上整體表現不錯,有幸受邀擔任授課老師另外在外貿協會培訓班的 R 語言課程短期助教;在擔任助教的過程裡,也讓我學習到了很多不同的經驗,讓我可以從不同的角度去理解 R 語言。

在最後的期末專題的製作期間,因為先前有稍微接觸過股票,所以在小組討論時我就提出了股票期貨分析這個題目,後來也獲得小組成員的認同與支持。但投資工具畢竟直接牽涉到金錢,能夠挖掘出的東西早就被挖掘了,導致我們想在股票或期貨中想分析出有用的東西愈加困難。由於「股票」這個題目實在太廣了,於是我們將題目分成「基本分析」、「週期分析」……等幾個細項分別來進行。而在資料分析過程中,在挖出有用的「線頭」訊息之前,往往是令我們身心倍感艱辛與煎熬的一段歷程。因為根本就無法事先預知能不能做得出有用的成果出來。過程中也會常常質疑:會不會股票過去的歷史資料根本就和未來沒有直接太大的關聯?若是如此,這段時間簡直就是浪費生命、做白工!也因為不知道會不會有成果,當然也不會有所謂「進度」這種東西。簡而言之,在有重大發現之前進度永遠都是0%。我個人認為,要克服這種心理壓力是整個專題進行過程中最難的事情!若能熬過這段充滿了不確定的期間,之後就可以輕鬆自如了。所幸,可能是本組運氣好的關係,也可能是我們對數字有一定的敏感度,我們這組最後成功做出了月報酬率 20% 的模型出來。

在此,想對未來的學弟、妹們提出一些個人的小小建議:

1.上課時遇到感興趣的地方,可以趁假日或下課時間嘗試寫出一些自己的作品,甚至參加一些數據分析的競賽。一來因為還在受訓期間,遇到任何問題可以直接找老師或同學討論協助。二來,可以將作品放在履歷上,大大增加自己的談判籌碼。

2.可以在空閒之餘加強英文。感謝資策會的培訓課程、期末專題以及期末的媒合,讓我在結訓一週內就成功找到工作。目前工作一個月,遇到的所有專業的相關文件還沒碰過中文。若能在英文閱讀能力上面再加強,一來能提升工作效率,二來在學習新知上也能更快速。畢竟在大數據的領域,英文的資訊遠比中文還多。

台北資策會的課程幫我們把資料工程師所需的基礎技能做了一個系統式、架構式的學習。舉個例子來說,若是我想要學網路爬蟲,就必須先學習 HTML、CSS、JavaScript、JSP 等,先理解網頁原始碼,再配合Java、R或其他程式語言取出網頁原始碼裡面有價值的部份。若是自學,就要想辦法一個一個將散落在各處的知識,分別學習再拼湊起來。而資策會的課程則事先幫我們把各種技能知識做好整理,在學習時能直接在相關知識中做連結。但五個月的學習時間畢竟還是稍嫌太短了些,許多東西只來得及碰觸表層、而無法做更深入地鑽研。有道是「師父領進門,修行在個人」,資策會的課程就像是一位好師父,為我打開了資料科學這一扇窗。其後我將繼續努力修行,希望有朝一日成為資料科學的專家!

以上是我個人在台北資策會『Data Engineer 巨量資料分析就業養成班』五個月以來的學習心得,希望能夠給未來對這個課程有興趣的人、或是已經正在學習中的學弟、妹們做為參考。