Thanks to visit codestin.com
Credit goes to github.com

Skip to content

ronnywang/fidb-crawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 
 
 

Repository files navigation

fidb-crawler

經濟部工業局爬工廠資料程式

前言

第一次嘗試寫 crawler 過程實況,希望透過寫的過程以及我的碎碎念,讓沒有寫過 crawler 的人可以大概知道怎麼寫。

主要語言是使用 PHP ,用到 curl, iconv, dom 等 library ,這些在其他語言也很多,因此希望也能對非 PHP 的開發者也能有幫助。

不過因為完全沒有事先準備,直接就開始邊錄邊寫,所以中間卡關好幾次在 try & error,寫了快兩個小時,如果看到睡著請不要怨我 XD

程式說明

  • crawler.php : 爬工廠名稱、代號、連結的程式
  • crawler2.php : 從連結爬出更完整資訊的程式

連結

影片位置: http://www.youtube.com/watch?v=EbAmjXDnqHE 經濟部工廠公示資料查詢系統: http://gcis.nat.gov.tw/Fidbweb/index.jsp

注意

  • 爬資料請小力點爬,如果不趕時間最好每一個 request 都間隔一秒,這樣比較不會造成主機的負擔,影響到要正常使用的人。
  • 工廠資訊我爬完後就會公布出來,所以對這資料有需求的人不需要用我的程式再重新爬一次,我公開程式只是供教學使用
  • 以上公開程式碼以 BSD License 授權

About

經濟部工業局爬工廠資料程式

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages