使用 Go 實作「URL 爬蟲」應用程式

做法

一般抓取

以下實現廣度優先演算法，遍歷網頁的所有連結。

package main

import (
	"fmt"
	"log"
	"net/http"

	"golang.org/x/net/html"
)

func main() {
	breadthFirst(crawl, []string{"https://golang.org/"})
}

// 爬蟲函式接收一個 URL，回傳這個網頁中所有的 URL
func crawl(url string) []string {
	fmt.Println(url)

	// 解析網頁中的所有 URL
	list, err := extract(url)

	if err != nil {
		log.Print(err)
	}

	return list
}

// 遍歷函式接收一個 html 節點，以及兩個閉包函式
func forEachNode(n *html.Node, pre, post func(n *html.Node)) {
	if pre != nil {
		// 將節點傳入閉包函式執行
		pre(n)
	}

	for c := n.FirstChild; c != nil; c = c.NextSibling {
		// 遞迴
		forEachNode(c, pre, post)
	}

	if post != nil {
		// 將節點傳入閉包函式執行
		post(n)
	}
}

// 解析函式接收一個 URL，回傳此頁面的所有 URL
func extract(url string) ([]string, error) {
	resp, err := http.Get(url)

	if err != nil {
		return nil, err
	}

	if resp.StatusCode != http.StatusOK {
		resp.Body.Close()
		return nil, fmt.Errorf("getting %s: %s", url, resp.Status)
	}

	doc, err := html.Parse(resp.Body)

	resp.Body.Close()

	if err != nil {
		return nil, fmt.Errorf("parsing %s as HTML: %v", url, err)
	}

	var links []string
	// 宣告一個閉包函式，用來拜訪每一個節點
	visitNode := func(n *html.Node) {
		if n.Type == html.ElementNode && n.Data == "a" {
			for _, a := range n.Attr {
				if a.Key != "href" {
					continue
				}

				link, err := resp.Request.URL.Parse(a.Val)

				if err != nil {
					continue
				}

				links = append(links, link.String())
			}
		}
	}

	forEachNode(doc, visitNode, nil)

	return links, nil
}

// 遍歷函式接收一個閉包函式，以及一個列表
func breadthFirst(f func(item string) []string, worklist []string) {
	// 宣告一個集合，用來儲存不重複的 URL
	seen := make(map[string]bool)

	for len(worklist) > 0 {
		// 複製一份列表，用來疊代
		items := worklist
		worklist = nil

		for _, item := range items {
			// 判斷列表中是否存在當前 URL
			if !seen[item] {
				seen[item] = true
				// 將 URL 放進爬蟲函式執行，並將結果添加至列表中
				worklist = append(worklist, f(item)...)
			}
		}
	}
}

並行抓取

使用 goroutine 並行發送請求。

package main

import (
	"fmt"
	"log"
	"net/http"

	"golang.org/x/net/html"
)

func main() {
	// 宣告一個 URL 通道
	worklist := make(chan []string)
	// 宣告一個未曾拜訪的 URL 通道
	unseenLinks := make(chan string)

	go func() {
		// 起始網站
		worklist <- []string{"https://golang.org/"}
	}()

	// 限制最多 20 個 goroutine
	for i := 0; i < 20; i++ {
		go func() {
			// 疊代所有未曾拜訪的 URL
			for link := range unseenLinks {
				links := crawl(link)

				// 將獲得的 URL 放入至 URL 通道
				go func() {
					worklist <- links
				}()
			}
		}()
	}

	seen := make(map[string]bool)

	for list := range worklist {
		for _, link := range list {
			// 判斷列表中是否存在當前 URL
			if !seen[link] {
				seen[link] = true
				// 將 URL 放進未曾拜訪的 URL 通道中
				unseenLinks <- link
			}
		}
	}
}

func crawl(url string) []string {
	fmt.Println(url)

	list, err := extract(url)

	if err != nil {
		log.Print(err)
	}

	return list
}

func forEachNode(n *html.Node, pre, post func(n *html.Node)) {
	if pre != nil {
		pre(n)
	}

	for c := n.FirstChild; c != nil; c = c.NextSibling {
		forEachNode(c, pre, post)
	}

	if post != nil {
		post(n)
	}
}

func extract(url string) ([]string, error) {
	resp, err := http.Get(url)

	if err != nil {
		return nil, err
	}

	if resp.StatusCode != http.StatusOK {
		resp.Body.Close()
		return nil, fmt.Errorf("getting %s: %s", url, resp.Status)
	}

	doc, err := html.Parse(resp.Body)

	resp.Body.Close()

	if err != nil {
		return nil, fmt.Errorf("parsing %s as HTML: %v", url, err)
	}

	var links []string
	visitNode := func(n *html.Node) {
		if n.Type == html.ElementNode && n.Data == "a" {
			for _, a := range n.Attr {
				if a.Key != "href" {
					continue
				}

				link, err := resp.Request.URL.Parse(a.Val)

				if err != nil {
					continue // ignore bad URLs
				}

				links = append(links, link.String())
			}
		}
	}

	forEachNode(doc, visitNode, nil)

	return links, nil
}

程式碼

• go-chawler-example

參考資料

• Alan A. A. Donovan, Brian W. Kernighan。精通 Go 程式設計。台北市：碁峯資訊。