go语言圣经-并发获取多个URL
1.GO最新奇的特性就是对并发编程的支持,goroutine和channel
2.goroutine是一种函数的并发执行方式，而channel是用来在goroutine之间进行参数传递
go function则表示创建一个新的goroutine，并在这个新的goroutine中执行这个函数。
3.make函数创建了一个传递string类型参数的channel
4.io.Copy把响应的Body内容拷贝到ioutil.Discard输出流中,扔到一个垃圾桶
5.goroutine尝试在一个channel上做send或者receive操作时，这个goroutine会阻塞在调用处,直到另一个goroutine往这个channel里写入、或者接收值
6.用main函数来接收所有fetch函数传回的字符串，可以避免在goroutine异步执行还没有完成时main函数提前退出。
练习 1.10： 找一个数据量比较大的网站，用本小节中的程序调研网站的缓存策略，对每个URL执行两遍请求，查看两次时间是否有较大的差别，并且每次获取到的响应内容是否一致，修改本节中的程序，将响应结果输出，以便于进行对比。
练习 1.11： 在fetchall中尝试使用长一些的参数列表，比如使用在alexa.com的上百万网站里排名靠前的。如果一个网站没有回应，程序将采取怎样的行为？（Section8.9 描述了在这种情况下的应对机制）。
fetchall.go
package main
//导入io/ioutil和net/http包
import (
"fmt"
"io"
"os"
"io/ioutil"
"net/http"
"strings"
"time"
)
func main() {
//当前时间
start := time.Now()
//make函数创建了一个传递string类型参数的channel
ch := make(chan string)
//for循环命令行参数
for _, url := range os.Args[1:] {
//开启一个goroutine
go fetch(url,ch)
}
//接收并打印channel,for循环不需要key value
for range os.Args[1:]{
fmt.Printf(<-ch)//注意箭头方向,接收channel
}
//main函数的时间
fmt.Printf("main: %.2fs /n",time.Since(start).Seconds())
}
//参数类型:string , chan<- string
func fetch(url string,ch chan<- string){
start := time.Now()
//加入前缀
if !strings.HasPrefix(url, "http://") {
url = "http://" + url
}
res, err := http.Get(url)
//判断错误
if err != nil {
//向标准错误流打印信息
fmt.Fprintf(os.Stderr, "fetch:%v /n", err)
//终止进程
os.Exit(1)
}
//输出http code
//fmt.Printf("/nhttp status code :%s/n", res.Status)
//把内容扔掉,只获取字节数
nBytes , err:=io.Copy(ioutil.Discard, res.Body)
//判断错误
if err != nil {
//向标准错误流打印信息
fmt.Fprintf(os.Stderr, "fetch:%v /n", err)
//终止进程
os.Exit(1)
}
res.Body.Close()
//记录执行的秒数
sec := time.Since(start).Seconds()
//发送给channel
ch<- fmt.Sprintf("%.2fs %7d %s /n",sec,nBytes,url)
}
对比fetch.go
package main
//导入io/ioutil和net/http包
import (
"fmt"
"io"
"os"
"io/ioutil"
"net/http"
"strings"
"time"
)
func main() {
//开始时间
start := time.Now()
//for循环命令行参数
for _, url := range os.Args[1:] {
//加入前缀
if !strings.HasPrefix(url, "http://") {
url = "http://" + url
}
res, err := http.Get(url)
//判断错误
if err != nil {
//向标准错误流打印信息
fmt.Fprintf(os.Stderr, "fetch:%v /n", err)
//终止进程
os.Exit(1)
}
//body,err := ioutil.ReadAll(res.Body)
//避免申请一个缓冲区,直接到标准输出流
nBytes,err:=io.Copy(ioutil.Discard, res.Body)
//判断错误
if err != nil {
//向标准错误流打印信息
fmt.Fprintf(os.Stderr, "fetch:%v /n", err)
//终止进程
os.Exit(1)
}
res.Body.Close()
//输出http code
fmt.Printf("/nhttp status code :%s %7d %s/n", res.Status,nBytes,url)
//fmt.Printf("%s",body)
}
//结束时间
sec:=time.Since(start).Seconds()
fmt.Printf("main:%.2fs/n",sec)
}
执行效果对比:
原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/12558.html