~歡迎企業洽談包班需求 ~
「大數據/人工智慧」 同步招生中 !!

一、課程緣起：

近年來，有大量的業學界學者專家投入大數據相關技術，根據Hadoop Summit 2015、CSDN 2014大數據技術大會等國外指標性論壇所討論的主軸，In-Memory技術已成為近期最熱門的大數據技術，而最為人熟知的是由加州柏克萊大學所發展的 BDAS ( Berkeley Data Analytics Stack )，其中從儲存、運算、資料檢索都利用了In-Memory 技術，提供優於MapReduce運算框架 10~100倍的效能。

隨著交友社群Facebook、電子論壇與媒體發達及智慧型手機的興起，人們交換訊息的方式大多從傳統的對話書寫，進而轉向透過手機或電腦進行電子訊息互動。而這些訊息資訊包羅萬象，量級也都很大，在各個領域都含有很大的潛在資訊與商機。

為了協助國內業界獲取並藉由開源大數據流處理平台(Hortonworks)處理這些訊息，資展國際特規畫「網路爬蟲與Spark大數據流處理實務」課程，本課程將由琢磨於資料的生、流、存、算環節，透過OpenSource進行網路資料擷取，進而如何使用大數據流處理技術(Kafka與Spark Streaming)來結構化與處理所取得的資料流。本課程將以實機實戰的方式，讓每位學員都能自行撰寫相關程式，並可在過程中了解各種可能面臨的狀況，增進學習效果，激盪出許多解決方案！

二、課程目標：

本課程教導學員能透過開源Library從網站、社群媒體、裝置獲取資訊，並能將非結構化資料轉換為結構化資料，交由Kafka訊息管理系統做統一管理，接著利用Spark Streaming進行大數據流的即時運算，並將結果予以應用。課程設計能使學員親身體驗資料串流的處理，並能從體驗中遭遇的問題，學習更多解決方案，加倍學習之效果。

三、課程特色：

本課程旨在建立即時串流資料處理系統，教導學員如何撰寫一網路爬蟲，以便於網站、社群API中獲取資料，並將接收到的非結構資料，快速透過工具進行結構化解析。解析後的資料如何介接到訊息處理叢集Kafka，最後利用Spark Streaming進行大數據流處理與應用。讓參訓學員瞭解正確的觀念與方法，課程重點在於透過採體驗式教學方式的實作，學員能夠學習如何透過開源工具Hortonworks快速搭建大數據流分析叢集，並能在平台上實際演練大數據操作與分析，以從體驗中驗證課程所學。課程會以Spark核心技術，與串流處理技術Spark Streaming 結合第三方串流平台(Kafka、Socket等)為課程主軸，學員可以學習到如何即時處理大量串流資料，並透過Spark相關核心工具與機器學習技術加以分析出結果，讓資料會說話！

四、適合對象：

• 對於雲端運算之大量資料處理、分析、應用有興趣者
• 資料科學家、資料工程師
• IT經理或系統網路部門主管
• 專案經理、系統架構師或系統網路管理人員
• 企業或技術決策人員

五、上課時間：

9:00-17:00，14小時，共兩天

六、課程大綱：

*課程執行單位保留調整課程內容、日程與講師之權利