前言
處於資料量爆炸的現在,由資料挖掘整合分析得到資訊做出趨勢預測,能提供給決策者更有利的判斷方向,這是我想嘗試踏入的領域,應用自身所學為公司客戶製造雙贏局面。但我深深覺得單單只有數理統計背景是不夠的,需要加強資訊工程這方面的能力,於是我選擇了資策會的『Data Engineer 巨量資料分析就業養成班』(iSpan資展國際Big Data巨量資料分析就業養成班的前身)來做為基礎入門。
心得分享
在資策會(資展)進修學習第二專長,學會了基本的前端網頁設計HTML5及JavaScript,後端的結構及非結構式資料庫管理SQL Server及No SQL,Linux系統及Shell、Docker,還有當前最火紅的分散式系統Hadoop、Hive和Spark,也學習如何將數據以圖表呈現運用到了AJAX及jQuery,最後則是如何將前端後端結合UI的JSP和 RESTful Services,其實這麼多的課程只是帶領你快速入門,後續的對於有興趣的科目或依據工作需求再進行專研。小專題架設Hadoop Cluster以組為單位從無到有的架設起,體驗分散式運算的威力。
利用所學技能製作專題,我們這組的專題是利用Java網路爬蟲抓取行政院農委會資料開放平台之農產品交易行情進行價量分析,主要利用R 語言讀取SQL Srver資料庫資料,將資料過濾清洗後進行分析,探討內容分為季節性及非季節性蔬果量價關係,並結合颱風降雨因子找出不會受影響菜種推薦給消費者,若受降雨影響多久菜價回穩,以及定義蔬菜加權指數。尋找出國內農產品交易市場行情潛規則,讓新手主婦(夫)更容易步入傳統市場,也讓餐飲業者在挑選食材時更能精打細算。
為期五個月的課程若有認真學習一定會有所收穫,對於資工方面的課程雖然無法在短時間內就能有效的吸收與運用,但以初入門的心態去看待,雖然學的廣學得不夠深未來還是要做自我的再進修,這就是所謂的師父領進門修行在個人,這是個可以讓你理解整個系統從後端到前端是如何串接運作的一門課。