Big Data 大數據工程師就業養成班

過去數年以來,國內外大量產業引進資料科學、物聯網甚至人工智慧等概念來處理更大量的業務、更快速的需求、更多元的訂單。個人乃至於企業如何善用手邊的數據以增進工作效率、加速產線質量、改善專案管理也是不見退燒的議題。
但在茫茫的資料流中,如何將這些技術應用在各種不同的行業、情境,一直都是資料科學工作者所追求的,且不論是物聯網或是人工智慧的應用,其底層技術不外乎「資料」本身。本班乃是因應資料科學職場上的實際需求所設計出來並與大數據技術直接相關的就業養成班,在 AI、IoT、大語言模型掛帥的產業聲浪中,為各位打下良好的「資料」基礎,站在巨量資料「巨人」的肩膀,觀看整個「資料世界」的演繹。
班級課程特色
課程模組化與階段性目標
建立程式設計、資料處理、資料擷取與分析相關技能。
例:Python 程式設計基礎 -> Python 程式設計進階 -> Python 資料處理與分析 -> Python 網路爬蟲學習資料庫相關知識與技能。
例:資料結構 -> MySQL 資料庫基礎語法 -> MySQL 資料庫進階應用 -> NoSQL 與 MongoDB -> Python 整合串接資料庫應用實作學習系統環境建置實作。
例:Linux 系統管理基礎 -> Linux Shell Script -> Docker 容器式虛擬環境建置學習環境建置與資料庫技術實作技巧。
例:Kubernetes -> Hadoop 巨量資料處理平台實作 -> 資料湖倉網頁設計整合與資料視覺化呈現方式。
例:HTML & CSS -> JavaScript -> Flask -> Restful API 與 Ajax -> 資料視覺化 -> Git資料工程與AI相關技術之後續應用。
例:機器學習與深度學習導論
專案導向學習(Project-based Learning)
設計模擬專案: 經歷以小組團隊分工合作方式來進行的資料工程應用專題,以期磨練學員上課所學習到的專業技能並強化產業應用的能力。例如:
- 發想研究主題,思考其動機及目的,設定研究與製作流程。
- 使用網路爬蟲自動化爬取數據,進行數據清理並簡易分析,並以 Flask 或 Power BI 等技術搭建視覺化應用。
- 針對專案中現有的資料,搭配系統工程技術建置專案必要之環境,並實現雲端平台資料流以期能處理大量的數據。
- 使用基礎的前後端整合工具將資料工程的流程展示,並提供視覺化的呈現樣貌。
實作與評估
- 課程中設置考試、作業或實作,作為學習成果評估。
- 評估學員的程式邏輯能力、資料處理能力、系統建置能力,以及透過專題對技術整合的掌握程度。
整合工具的應用與實踐
- 工具鏈: 嘗試如何將 Git 或 Docker 等技術整合到資料工程專案的工作流程。
- 資料處理與分析 + 視覺化: 資料樣貌能以 Tableau 和 Flask 呈現,提高商業價值理解。
跨領域學科整合
- 提供延伸資源,幫助學員了解資料工程如何應用於金融、醫療、行銷、交通、製造、工程、法律、影音、教育等百工領域。
- 在資料科學的世界,你可以一個人走得很快,但是你走不遠;要走的遠,還是得依賴團隊,一群人才走得遠。藉由團隊分工合作,用專案管理的方式來模擬資料科學業中的工作內容,以利日後銜接職場。
專題成果呈現


- 應用情境 1
台灣自 2006 年啟用的國道電子收費 ETC,至目前為止 eTag 普及率高達 95%,足以代表國道車流量,每日產生的站點偵測紀錄更多達數百萬筆。看準 eTag 資料量龐大、資料取得容易及其運用範圍廣泛,希望能將此作為專題目標,分析國道路況及預測塞車問題。


- 應用情境 2
美國紐約市的居住人口約 880 萬,每年有超過 5600 萬遊客造訪,計程車(又稱出租車)的服務隨處可見,每月有 2300 萬出租車乘車紀錄,相當於每天超過 70 萬,該如何妥善處理並運用這些大量的資料呢?


- 應用情境 3
身處高房價世代的我們,如何在有限的資產中選擇適當的居住策略?網路上、社群裡五花八門的資訊有沒有辦法能夠整合出一個放諸四海皆準的原則?數字能夠說話、資料道盡故事,讓我們用資料的角度看待買房、置產這件事。
課程內容

成果展現
賀BDSE08班同學參與AI人才解題競賽獲獎

賀BDSE13班同學與中華電信學院合作企業專題成果卓越


賀BDSE22班同學期末專題表現優異順利結業

學員心得分享
- 淡江大學數學系資統組 林O妤同學
- 淡江大學統計系 朱O宏同學
- 輔仁大學西班牙語文學系 石O同學
- 台灣大學工商管理系科技管理組 羅O同學
- 淡江大學水資源及環境工程學研究所管理組 陳O威同學
- 台灣科技大學應用外語系 曾O毅同學
- 東吳大學微生物學研究所碩士 傅O瑩同學
- 政治大學社工所(大學資管跨領域) 施O芸同學
- 台灣大學機械工程系 廖O傑同學
- 台北科技大學光電工程學 莊O逸同學
- 輔仁大學數學系 林O任同學
- 台灣大學物理系 徐O谷同學
- 實踐大學社會工作學系 謝O賢同學
- 交通大學運輸科技與管理學系 鍾O修同學
- 台灣大學經濟系 鍾O辰同學
- 台灣大學經濟研究所碩士 林O瑩同學
- 台灣大學電機工程研究所碩士 柯O彬同學
- 中央大學物理學研究所碩士 林O余同學
- 美國德州大學奧斯汀分校會計研究所碩士 蔣O庭同學
相關資訊
上課時段
- 星期一到五白天為主,另因配合企業講師之時間安排,部份課程會於週末假日或平日晚上上課。
報名說明 |
|
|---|---|
招生對象 |
|
課程目標 |
|
就業方向 |
|

