課程介紹

Big Data 大數據工程師就業養成班
Big Data 資料工程師就業養成班

過去數年以來，國內外大量產業引進資料科學、物聯網甚至人工智慧等概念來處理更大量的業務、更快速的需求、更多元的訂單。個人乃至於企業如何善用手邊的數據以增進工作效率、加速產線質量、改善專案管理也是不見退燒的議題。

但在茫茫的資料流中，如何將這些技術應用在各種不同的行業、情境，一直都是資料科學工作者所追求的，且不論是物聯網或是人工智慧的應用，其底層技術不外乎「資料」本身。本班乃是因應資料科學職場上的實際需求所設計出來並與大數據技術直接相關的就業養成班，在 AI、IoT、大語言模型掛帥的產業聲浪中，為各位打下良好的「資料」基礎，站在巨量資料「巨人」的肩膀，觀看整個「資料世界」的演繹。

班級課程特色

課程模組化與階段性目標

  • 建立程式設計、資料處理、資料擷取與分析相關技能。
    例：Python 程式設計基礎 －> Python 程式設計進階 －> Python 資料處理與分析 －> Python 網路爬蟲

  • 學習資料庫相關知識與技能。
    例：資料結構 －> MySQL 資料庫基礎語法 －> MySQL 資料庫進階應用 －> NoSQL 與 MongoDB －> Python 整合串接資料庫應用實作

  • 學習系統環境建置實作。
    例：Linux 系統管理基礎 －> Linux Shell Script －> Docker 容器式虛擬環境建置

  • 學習環境建置與資料庫技術實作技巧。
    例：Kubernetes －> Hadoop 巨量資料處理平台實作 －> 資料湖倉

  • 網頁設計整合與資料視覺化呈現方式。
    例：HTML & CSS －> JavaScript －> Flask －> Restful API 與 Ajax －> 資料視覺化 －> Git

  • 資料工程與AI相關技術之後續應用。
    例：機器學習與深度學習導論

專案導向學習（Project-based Learning）

設計模擬專案： 經歷以小組團隊分工合作方式來進行的資料工程應用專題，以期磨練學員上課所學習到的專業技能並強化產業應用的能力。例如：

  • 發想研究主題，思考其動機及目的，設定研究與製作流程。
  • 使用網路爬蟲自動化爬取數據，進行數據清理並簡易分析，並以 Flask 或 Power BI 等技術搭建視覺化應用。
  • 針對專案中現有的資料，搭配系統工程技術建置專案必要之環境，並實現雲端平台資料流以期能處理大量的數據。
  • 使用基礎的前後端整合工具將資料工程的流程展示，並提供視覺化的呈現樣貌。

實作與評估

  • 課程中設置考試、作業或實作，作為學習成果評估。
  • 評估學員的程式邏輯能力、資料處理能力、系統建置能力，以及透過專題對技術整合的掌握程度。

整合工具的應用與實踐

  • 工具鏈： 嘗試如何將 Git 或 Docker 等技術整合到資料工程專案的工作流程。
  • 資料處理與分析 + 視覺化： 資料樣貌能以 Tableau 和 Flask 呈現，提高商業價值理解。

跨領域學科整合

  • 提供延伸資源，幫助學員了解資料工程如何應用於金融、醫療、行銷、交通、製造、工程、法律、影音、教育等百工領域。
  • 在資料科學的世界，你可以一個人走得很快，但是你走不遠；要走的遠，還是得依賴團隊，一群人才走得遠。藉由團隊分工合作，用專案管理的方式來模擬資料科學業中的工作內容，以利日後銜接職場。

專題成果呈現

西濱快速道路
流程說明
  • 應用情境 1
    台灣自 2006 年啟用的國道電子收費 ETC，至目前為止 eTag 普及率高達 95%，足以代表國道車流量，每日產生的站點偵測紀錄更多達數百萬筆。看準 eTag 資料量龐大、資料取得容易及其運用範圍廣泛，希望能將此作為專題目標，分析國道路況及預測塞車問題。
資料來源及預處理
視覺化呈現
  • 應用情境 2
    美國紐約市的居住人口約 880 萬，每年有超過 5600 萬遊客造訪，計程車（又稱出租車）的服務隨處可見，每月有 2300 萬出租車乘車紀錄，相當於每天超過 70 萬，該如何妥善處理並運用這些大量的資料呢？
專題簡介：你有買房夢嗎？
新成屋策略
  • 應用情境 3
    身處高房價世代的我們，如何在有限的資產中選擇適當的居住策略？網路上、社群裡五花八門的資訊有沒有辦法能夠整合出一個放諸四海皆準的原則？數字能夠說話、資料道盡故事，讓我們用資料的角度看待買房、置產這件事。

課程內容

Big Data 大數據工程師就業養成班課綱
※課程內容以地區班級為準。

成果展現

賀BDSE08班同學參與AI人才解題競賽獲獎

賀BDSE13班同學與中華電信學院合作企業專題成果卓越

賀BDSE22班同學期末專題表現優異順利結業

學員心得分享

相關資訊

上課時段
  • 星期一到五白天為主，另因配合企業講師之時間安排，部份課程會於週末假日或平日晚上上課。
報名說明
  • 正式報名課程之前需先聽過說明會說明會皆採線上報名（免費報名），在參訓課程之前必須先聽過該課程之說明會，才能夠報名課程。
  • 說明會之後確定想報名課程參加過說明會之後，若確定想參訓課程，與地區承辦人員再次確認報名後，始可繳費。
  • 各地區課務人員進一步了解更多資訊，請洽各區課務人員。
招生對象
  • 學歷建議大專（以上）畢業青年
  • 就讀科系不限，歡迎各領域的有志者加入
  • 基礎條件對「玩轉資料」這件事情感興趣，願意投入時間心力，且具備高度學習意願
課程目標
  • 培養學員具備轉換跑道，進入資料工程、資料分析、資料科學的工作領域
  • 培養學員具備資料擷取與處理的基礎技能
  • 培養學員具備 Python 程式開發、SQL 資料庫設計、基礎網頁開發等能力，快速加入資訊產業
  • 培養學員具備使用 Python 進行資料處理、資料分析、資料視覺化等能力
  • 實作雲端資料處理平台解決方案、輔以現今資料倉儲技術概念處理巨量資料，並提升運算速度以增進效率
就業方向
  • 資料工程師、資料分析師、資料庫工程師、系統工程師、系統分析師、Python 程式設計師、BI 商業智慧分析師、資料視覺化工程師、資料服務業專案經理、雲端資料平台系統架構師、軟體開發工程師、數位轉型顧問、資料倉儲技術導入顧問
※主辦單位保有開課與否及課程內容調整之權利。所有訊息以官網公布為準。

開課資訊

學員成功故事