新手如何抓取網頁資料?
Python資料結構基礎暨網路爬蟲實作班
Python為何熱門?
Python對於新手而言是相對容易學習與上手,也可以說是最容易使用的程式語言之一,主要在於它的語法是簡化而不複雜的,同時強調自然語言,更貼近使用者的習慣,即使是業餘開發人員也可以輕鬆閱讀和理解。另外,Python有上百個函式庫供開發者來使用,這可以大幅節省開發初期所耗費的時間與精力。除此之外,許多雲端服務供應商也以類似函式庫的方式提供跨平台支援的工具,這對開發者來說,是非常大的助益,同時函式庫與框架可以透過Python處裡,例如:繪製圖表的matplotlib、工程應用、科學和數學的SciPy、HTML解析和XML的Beautiful Soup、科學計算的NumPy、服務器端Web開發的Django等。現今隨著資訊科技發展漸趨多元成熟,雲端運算、機器學習和大數據是今天電腦科學界最熱門的趨勢,可以幫助許多企業改變和優化工作流程。Python被認為更具通用性,成為數據科學和分析最受歡迎的工具,目前許多企業進行數據處理、分析的工作,都是以Python來進行。
Python多功能用途廣泛?
除了有大量的入門套件與函式庫,Python 還是資料分析的首選程式。 Python使網路爬蟲技術更加普及且容易使用,資料取得變得輕鬆,加速資料分析的步驟。再加上對應不同程式的套件多,無論是用 csv、 JSON、SQLite,還是常見的 Excel、Word、Google sheet、Google doc 的資料儲存方式,Python 都有對應的套件可以運用,提升資料蒐集與儲存的優勢。Python 也能藉由 NumPy、Pandas 這類數據分析套件,輕鬆完成所有基本的數據分析。
Python適合誰學?零基礎如何開始學習旅程?
程式語言不只是資訊科學領域的專利,更是一項全民必修的技術專長!想像你在公司處理上千萬筆資料,還需要一筆筆爬取網頁資料,一步步整理分析?這樣的解決方式不僅成本高又耗時,不符合現代公司資訊經營管理的潮流。有鑑與此,天地人規劃「新手如何抓取網頁資料?Python資料結構基礎暨網路爬蟲實作班」,邀請數位科技課程研發企劃業師親授,曾任職多家科技公司工程師,並開設相關課程,將實務經驗帶領學員瞭解Python資料結構與網路爬蟲五大核心關鍵:(1)網路爬蟲簡介、程式開發環境建置;(2)基礎程式語言;(3)資料結構基礎;(4)網路爬蟲核心;(5)網路爬蟲實作。
課程的三大重點
從無到有探索網頁爬蟲,理解快速上手資料採集技巧
此課程規劃以非資訊背景人士的需求,體驗與初步學習 Python 程式語言,進而瞭解網路爬蟲的操作入門。課程將介紹 Python 前顯易懂的程式寫法、安裝開發環境、資料儲存、網站資料擷取原理,以探究網路資料採集的概念和實作。
零基礎學程式語言,由淺入深練習語法邏輯
撰寫網頁爬蟲程式之前,將會由淺入深對於基礎程式語法進行說明,包含「變數與資料型態」、「流程控制」、「函式工具」與「輸出入互動」。接著就能研究好用的資料結構與設計爬蟲程式時常見的函式庫功能,透過範例程式碼練習,逐步建構爬蟲所需的基本知識庫。
掌握網路爬蟲核心,實踐資料檢索目標
大部分的爬蟲程式為了符合實際網站狀況,常添加其他複雜或未知的程式語法,使得初學者學習要跨出比較高大的門檻。此課程翻轉學習方式,以爬蟲核心的概念以及相關程式碼為學習項目,讓新手也能逐步掌握要點邏輯,取得所需的關鍵資料。實作以「匯率」、「新聞標題」兩個真實網站作為資料採集的對象,亦能將範例所學對應到學員未來想要爬取的網站資料。
課程大綱
網路爬蟲簡介、程式開發環境建置
1-1 什麼是網路爬蟲、它對行銷、大數據、人工智慧有何幫助?
1-2 Python程式語言介紹
1-3 IDLE開發環境安裝
基礎程式語言
2-1 和 Python 互動(基本輸出入)
2-2 資料擷取的容器設計(變數與資料型態)
2-3 爬蟲程式的流程控制(條件判斷式)
2-4 爬蟲程式的重複行為(迴圈)
2-5 爬蟲程式的功能開發(函式)
資料結構基礎
3-1 好用的 Python資料型態(List)
3-2 具有查詢功能的資料型態(Dictionary)
網路爬蟲核心
4-1 萬能的函式庫
4-2 網路爬蟲之基本觀念
4-3 重要的資料框架結構(Data Frame)
網路爬蟲實作
5-1 台灣銀行匯率轉換網站爬取
5-2 資料視覺化基本設計
5-3 靜態網頁之標籤擷取旅遊資訊
5-4 認識開放資料(Open Data)
課程學習前須知
- 學員需自備筆電,電腦作業系統為Windows。
- 不需事先安裝軟體,於課程中進行教學。
加入我們一起學習 Python資料結構基礎暨網路爬蟲實作班!
授課業師
張書豪|蘋果芽數位科技 課程研發企劃
業師專長於電腦資訊,過往曾任職於高瞻資訊擔任影響分析師、大猩猩科技演算法工程師。並且在永和社區大學電腦課授課開班,包含Python程式設計初學班、電腦維修DIY、一起來滑手機等課程。業師具豐富實務與教學經驗,瞭解程式設計對於未曾接觸過的學生,多有擔心程式難度或不知道如何應用,因此在其教學上常以生活常見的程式帶入課程,例如餐點點餐系統、臉書、LINE等社群軟體,多媒體剪輯軟體等程式,幫助非資訊相關科系或對Python網路爬蟲程式設計有興趣者,從0到1,完善建立具邏輯有程式的基礎概念。
課程名稱
新手如何抓取網頁資料?Python資料結構基礎暨網路爬蟲實作班(C1420)
課程各期時間與上課模式
#線上課程
。上課模式:第01期課程的錄製回放影片
。觀看方式:訂單隔日工作日寄送觀看Email(信內附上影片連結,未收到Email,請務必與我們聯繫)
。觀看時間:依購買天數方案,自「觀看通知Email」寄送日起算第一天。
課程售票
VIP票券兌換:每人扣0.5 張VIP票券 ( VIP申購方案 )
課前搶先問
所有人都適合!對新手來說,Python 的入門門檻比起其他常見的程式語言低很多很多,語法簡潔、架構明確清楚,相對容易學習與上手,也非常容易使用。
(1) 數據處理與分析:Python 有許多專門處理數據分析的函式庫可以方便運用,再加上與 R 相比,除了統計用途,還多了能建構應用程式、系統或網站的功用,所以更通用許多。
(2) 人工智慧:AI 涵蓋機器學習(Machine Learning)和深度學習(Deep Learning),每天都有成千上萬的相關專案在用著數百個 Python 函式庫,例如 TensorFlow、Keras、Torch,以及用於電腦視覺 OpenCV 等。
(3) 網站開發:雖然絕大部分網站開發是用 PHP、Java、JavaScript 等程式語言,可是現在 Python 也越來越多人用,因為強大的函式庫、廣泛的實際應用使 Python 日漸成為 Web 開發的必需。
(4) 自動化測試:Python 有許多協助自動化測試的函式庫,例如用來幫助測試網頁前端的 Selenium、以關鍵字驅動為主的自動化測試工具 Robot Framework 等。
Python 是人工智慧研究的前沿語言,這是擁有最多機器學習和深度學習框架的語言,也是 AI 研究者幾乎都掌握的語言。Python 除了是人工智慧領域使用最廣泛的程式語言之一,還能無縫與數據結構、其他AI 算法一併使用,在學習面向又更容易上手(相較 C++ 和 Java 等語言要簡單),亦是一款便攜語言 (在 Linux、Windows、MacOS 和 UNIX 平台上都能使用)。允許創建交互式、可解釋式性、模塊化、動態,並可移植和高級的代碼,及本身的可擴充性,綜合各項特點讓不論初學者,或想跨入大數據、AI 領域的開發人員都能快速上手。
請優先理解程式運作邏輯與大量實作嘗試錯誤。很多人寫程式只是簡單的把自己找到的答案(code)複製 / 貼上,並沒有好好思考為什麼要這麼寫,非常可惜又白白浪費一次練習機會。有些人在學習的過程中會越來越喜歡寫程式,有些人則覺得越來越無趣,反思自己是不是根本不適合。為什麼會有這樣的差異呢?可能是因為「實作太少」。什麼是實作?一個簡單的 App、一個能連接資料庫的動態網站、一個網路爬蟲工具等,都可以是實作。
需要釐清是在訓練自己記憶力還是解題能力?學程式不是只學寫程式,因為課程中的code只是作業系統與框架提供的API,真正需要學習的關鍵在於四種能力:
(1) 具有找資料的能力,能夠知道如何找到相關資訊。
(2) 具有分析問題的能力,能夠快速定位問題。
(3) 知道如何解決問題,不限於拆解、簡化與轉化問題。
(4) 解決問題後能夠重新歸納並整理。
(1) 數據分析和人工智慧相關: Data Analyst (數據分析師)、Data Engineer (數據工程師)、Data Scientist (資料科學家)等。
(2) 網站和應用程式開發相關:前 / 後端工程師、遊戲開發工程師等。
(3) 自動化測試工程師等。
其實已經有很多工程師已經在自學 Python 技術,或是利用 Python 完成部分的日常工作了。像是Java工程師、網站前端、Linux維運人員等等,都很適合把會 Python 技術作為談薪水或轉職的一個優勢,讓自己獲得更多的高薪職缺或是加薪的機會。
課程一共六小時。14天的回放觀看期,讓學員更有彈性的安排課程進度。
完成購課後,將以Email寄送觀看通知信件,信件內會說明課程登入方式,並附上影片專屬連結、觀看密碼。
目前天地人有以下優惠方案:
(1) 買三送一:四堂課程(原價7,200)加入購物車,買三送一,單堂課只要3,650元。
(2) VIP優惠方案:銀卡方案(一次購買 11 張票,費用33,000元,平均每張票券優惠價:3,000元);金卡方案(一次購買 21 張票,費用57,750元,平均每張票券優惠價:2,750元)
(3) 天地人幣:讓你額外享有1.6%-5.0% 現金回饋,除了自己,也可以贈與給朋友、企業同仁,直接折抵部分/全額課程費用!
(4) 神秘優惠券:不定期推出課程現金折抵優惠券。