Go 源码学习之–net/http详解编程语言

其实自己不是很会看源码，但是学习优秀的源码是提升自己代码能力的一种方式，也可以对自己以后写代码有一个很好的影响，所以决定在之后的时间内，要有一个很好的习惯，阅读优秀的源码。刚开始自己会觉得看源码很痛苦，这个和我自己的方法有关系，刚开始自己总是想要知道源码的每一步操作，以及每个部分都是做什么，导致看着看着就看不下去了，所以也是从这次整理开始，调整自己阅读源码的方式，先去源码框架的主要流程，细枝末节后面等对整体框架有个了解，并且很清晰了，再回头来细致看，所以阅读过程中如果有不理解的地方自己先进行跳过，先对主体的框架进行一个很好的学习。

对于golang，实现一个最简单的http server 非常简单，代码如下：

package main 
 
import ( 
    "net/http" 
    "fmt" 
) 
 
func Indexhandler(w http.ResponseWriter,r *http.Request)  { 
    fmt.Fprintln(w,"hello world") 
} 
 
 
func main() { 
    http.HandleFunc("/",Indexhandler) 
    http.ListenAndServe("127.0.0.1",nil) 
}

通过上面这个简单的例子，来一点一点学习go的net/http实现的http服务的原理

HTTP

理解HTTP相关的网络应用，主要关注两个地方-客户端(client)和服务端(server)
两者的交互主要是client的request以及server的response,主要就在于如何接受client的request并向client返回response

接收request的过程中，最重要的莫过于路由（router），即实现一个Multiplexer器。Go中既可以使用内置的mutilplexer — DefautServeMux，也可以自定义。Multiplexer路由的目的就是为了找到处理器函数（handler），后者将对request进行处理，同时构建response

流程为：

Clinet -> Requests ->  [Multiplexer(router) -> handler  -> Response -> Clinet

理解go中的http服务，最重要就是要理解Multiplexer和handler，Golang中的Multiplexer基于ServeMux结构，同时也实现了Handler接口。下面对几个重要概念说明：

hander函数：具有func(w http.ResponseWriter, r *http.Requests)签名的函数
handler处理器(函数): 经过HandlerFunc结构包装的handler函数，它实现了ServeHTTP接口方法的函数。调用handler处理器的ServeHTTP方法时，即调用handler函数本身。
handler对象：实现了Handler接口ServeHTTP方法的结构。

Golang 的htttp处理流程，如下图

Handler

Golang没有继承，类多态的方式可以通过接口实现。所谓接口则是定义声明了函数签名，任何结构只要实现了与接口函数签名相同的方法，就等同于实现了接口。go的http服务都是基于handler进行处理。

type Handler interface { 
    ServeHTTP(ResponseWriter, *Request) 
}

任何结构体，只要实现了ServeHTTP方法，这个结构就可以称之为handler对象。ServeMux会使用handler并调用其ServeHTTP方法处理请求并返回响应。

ServeMux

ServeMux的源码：

type ServeMux struct { 
    mu    sync.RWMutex 
    m     map[string]muxEntry 
    hosts bool  
} 
 
type muxEntry struct { 
    explicit bool 
    h        Handler 
    pattern  string 
}

ServeMux结构中最重要的字段为m，这是一个map，key是一些url模式，value是一个muxEntry结构，后者里定义存储了具体的url模式和handler。

当然，所谓的ServeMux也实现了ServeHTTP接口，也算是一个handler，不过ServeMux的ServeHTTP方法不是用来处理request和respone，而是用来找到路由注册的handler

Server

除了ServeMux和Handler，还有一个结构Server需要了解。从http.ListenAndServe的源码可以看出，它创建了一个server对象，并调用server对象的ListenAndServe方法：

func ListenAndServe(addr string, handler Handler) error { 
    server := &Server{Addr: addr, Handler: handler} 
    return server.ListenAndServe() 
}

查看server的结构如下：

type Server struct { 
    Addr         string         
    Handler      Handler        
    ReadTimeout  time.Duration  
    WriteTimeout time.Duration  
    TLSConfig    *tls.Config    
 
    MaxHeaderBytes int 
 
    TLSNextProto map[string]func(*Server, *tls.Conn, Handler) 
 
    ConnState func(net.Conn, ConnState) 
    ErrorLog *log.Logger 
    disableKeepAlives int32     nextProtoOnce     sync.Once  
    nextProtoErr      error      
}

server结构存储了服务器处理请求常见的字段。其中Handler字段也保留Handler接口。如果Server接口没有提供Handler结构对象，那么会使用DefautServeMux做multiplexer，后面再做分析。

创建HTTP服务
创建一个http服务，大致需要经历两个过程，首先需要注册路由，即提供url模式和handler函数的映射，其次就是实例化一个server对象，并开启对客户端的监听。

再看gohttp服务的代码

http.HandleFunc(“/”, indexHandler)

即是注册路由。

http.ListenAndServe("127.0.0.1:8000", nil) 
 
或者： 
 
server := &Server{Addr: addr, Handler: handler} 
 
server.ListenAndServe()

注册路由

net/http包暴露的注册路由的api很简单，http.HandleFunc选取了DefaultServeMux作为multiplexer：

func HandleFunc(pattern string, handler func(ResponseWriter, *Request)) { 
    DefaultServeMux.HandleFunc(pattern, handler) 
}

DefaultServeMux是ServeMux的一个实例。当然http包也提供了NewServeMux方法创建一个ServeMux实例，默认则创建一个DefaultServeMux：

// NewServeMux allocates and returns a new ServeMux. 
func NewServeMux() *ServeMux { return new(ServeMux) } 
 
// DefaultServeMux is the default ServeMux used by Serve. 
var DefaultServeMux = &defaultServeMux 
 
var defaultServeMux ServeMux

DefaultServeMux的HandleFunc(pattern, handler)方法实际是定义在ServeMux下的：

// HandleFunc registers the handler function for the given pattern. 
func (mux *ServeMux) HandleFunc(pattern string, handler func(ResponseWriter, *Request)) { 
    mux.Handle(pattern, HandlerFunc(handler)) 
}

HandlerFunc是一个函数类型。同时实现了Handler接口的ServeHTTP方法。使用HandlerFunc类型包装一下路由定义的indexHandler函数，其目的就是为了让这个函数也实现ServeHTTP方法，即转变成一个handler处理器(函数)。

type HandlerFunc func(ResponseWriter, *Request) 
 
// ServeHTTP calls f(w, r). 
func (f HandlerFunc) ServeHTTP(w ResponseWriter, r *Request) { 
    f(w, r) 
}

我们最开始写的例子中
http.HandleFunc(“/”,Indexhandler)
这样 IndexHandler 函数也有了ServeHTTP方法。ServeMux的Handle方法，将会对pattern和handler函数做一个map映射：

// Handle registers the handler for the given pattern. 
// If a handler already exists for pattern, Handle panics. 
func (mux *ServeMux) Handle(pattern string, handler Handler) { 
    mux.mu.Lock() 
    defer mux.mu.Unlock() 
 
    if pattern == "" { 
        panic("http: invalid pattern " + pattern) 
    } 
    if handler == nil { 
        panic("http: nil handler") 
    } 
    if mux.m[pattern].explicit { 
        panic("http: multiple registrations for " + pattern) 
    } 
 
    if mux.m == nil { 
        mux.m = make(map[string]muxEntry) 
    } 
    mux.m[pattern] = muxEntry{explicit: true, h: handler, pattern: pattern} 
 
    if pattern[0] != '/' { 
        mux.hosts = true 
    } 
 
    // Helpful behavior: 
    // If pattern is /tree/, insert an implicit permanent redirect for /tree. 
    // It can be overridden by an explicit registration. 
    n := len(pattern) 
    if n > 0 && pattern[n-1] == '/' && !mux.m[pattern[0:n-1]].explicit { 
        // If pattern contains a host name, strip it and use remaining 
        // path for redirect. 
        path := pattern 
        if pattern[0] != '/' { 
            // In pattern, at least the last character is a '/', so 
            // strings.Index can't be -1. 
            path = pattern[strings.Index(pattern, "/"):] 
        } 
        url := &url.URL{Path: path} 
        mux.m[pattern[0:n-1]] = muxEntry{h: RedirectHandler(url.String(), StatusMovedPermanently), pattern: pattern} 
    } 
}

Handle函数的主要目的在于把handler和pattern模式绑定到map[string]muxEntry的map上，其中muxEntry保存了更多pattern和handler的信息，还记得前面讨论的Server结构吗？Server的m字段就是map[string]muxEntry这样一个map。

此时，pattern和handler的路由注册完成。接下来就是如何开始server的监听，以接收客户端的请求。

注册好路由之后，启动web服务还需要开启服务器监听。http的ListenAndServer方法中可以看到创建了一个Server对象，并调用了Server对象的同名方法：

func ListenAndServe(addr string, handler Handler) error { 
    server := &Server{Addr: addr, Handler: handler} 
    return server.ListenAndServe() 
} 
// ListenAndServe listens on the TCP network address srv.Addr and then 
// calls Serve to handle requests on incoming connections. 
// Accepted connections are configured to enable TCP keep-alives. 
// If srv.Addr is blank, ":http" is used. 
// ListenAndServe always returns a non-nil error. 
func (srv *Server) ListenAndServe() error { 
    addr := srv.Addr 
    if addr == "" { 
        addr = ":http" 
    } 
    ln, err := net.Listen("tcp", addr) 
    if err != nil { 
        return err 
    } 
    return srv.Serve(tcpKeepAliveListener{ln.(*net.TCPListener)}) 
}

Server的ListenAndServe方法中，会初始化监听地址Addr，同时调用Listen方法设置监听。最后将监听的TCP对象传入Serve方法：

// Serve accepts incoming connections on the Listener l, creating a 
// new service goroutine for each. The service goroutines read requests and 
// then call srv.Handler to reply to them. 
// 
// For HTTP/2 support, srv.TLSConfig should be initialized to the 
// provided listener's TLS Config before calling Serve. If 
// srv.TLSConfig is non-nil and doesn't include the string "h2" in 
// Config.NextProtos, HTTP/2 support is not enabled. 
// 
// Serve always returns a non-nil error. After Shutdown or Close, the 
// returned error is ErrServerClosed. 
func (srv *Server) Serve(l net.Listener) error { 
    defer l.Close() 
    if fn := testHookServerServe; fn != nil { 
        fn(srv, l) 
    } 
    var tempDelay time.Duration // how long to sleep on accept failure 
 
    if err := srv.setupHTTP2_Serve(); err != nil { 
        return err 
    } 
 
    srv.trackListener(l, true) 
    defer srv.trackListener(l, false) 
 
    baseCtx := context.Background() // base is always background, per Issue 16220 
    ctx := context.WithValue(baseCtx, ServerContextKey, srv) 
    for { 
        rw, e := l.Accept() 
        if e != nil { 
            select { 
            case <-srv.getDoneChan(): 
                return ErrServerClosed 
            default: 
            } 
            if ne, ok := e.(net.Error); ok && ne.Temporary() { 
                if tempDelay == 0 { 
                    tempDelay = 5 * time.Millisecond 
                } else { 
                    tempDelay *= 2 
                } 
                if max := 1 * time.Second; tempDelay > max { 
                    tempDelay = max 
                } 
                srv.logf("http: Accept error: %v; retrying in %v", e, tempDelay) 
                time.Sleep(tempDelay) 
                continue 
            } 
            return e 
        } 
        tempDelay = 0 
        c := srv.newConn(rw) 
        c.setState(c.rwc, StateNew) // before Serve can return 
        go c.serve(ctx) 
    } 
}

监听开启之后，一旦客户端请求到底，go就开启一个协程处理请求，主要逻辑都在serve方法之中。

serve方法比较长，其主要职能就是，创建一个上下文对象，然后调用Listener的Accept方法用来　获取连接数据并使用newConn方法创建连接对象。最后使用goroutein协程的方式处理连接请求。因为每一个连接都开起了一个协程，请求的上下文都不同，同时又保证了go的高并发。serve也是一个长长的方法：

// Serve a new connection. 
func (c *conn) serve(ctx context.Context) { 
c.remoteAddr = c.rwc.RemoteAddr().String() 
ctx = context.WithValue(ctx, LocalAddrContextKey, c.rwc.LocalAddr()) 
defer func() { 
if err := recover(); err != nil && err != ErrAbortHandler { 
const size = 64 << 10 
buf := make([]byte, size) 
buf = buf[:runtime.Stack(buf, false)] 
c.server.logf("http: panic serving %v: %v/n%s", c.remoteAddr, err, buf) 
} 
if !c.hijacked() { 
c.close() 
c.setState(c.rwc, StateClosed) 
} 
}() 
if tlsConn, ok := c.rwc.(*tls.Conn); ok { 
if d := c.server.ReadTimeout; d != 0 { 
c.rwc.SetReadDeadline(time.Now().Add(d)) 
} 
if d := c.server.WriteTimeout; d != 0 { 
c.rwc.SetWriteDeadline(time.Now().Add(d)) 
} 
if err := tlsConn.Handshake(); err != nil { 
c.server.logf("http: TLS handshake error from %s: %v", c.rwc.RemoteAddr(), err) 
return 
} 
c.tlsState = new(tls.ConnectionState) 
*c.tlsState = tlsConn.ConnectionState() 
if proto := c.tlsState.NegotiatedProtocol; validNPN(proto) { 
if fn := c.server.TLSNextProto[proto]; fn != nil { 
h := initNPNRequest{tlsConn, serverHandler{c.server}} 
fn(c.server, tlsConn, h) 
} 
return 
} 
} 
// HTTP/1.x from here on. 
ctx, cancelCtx := context.WithCancel(ctx) 
c.cancelCtx = cancelCtx 
defer cancelCtx() 
c.r = &connReader{conn: c} 
c.bufr = newBufioReader(c.r) 
c.bufw = newBufioWriterSize(checkConnErrorWriter{c}, 4<<10) 
for { 
w, err := c.readRequest(ctx) 
if c.r.remain != c.server.initialReadLimitSize() { 
// If we read any bytes off the wire, we're active. 
            c.setState(c.rwc, StateActive) 
} 
if err != nil { 
const errorHeaders = "/r/nContent-Type: text/plain; charset=utf-8/r/nConnection: close/r/n/r/n" 
if err == errTooLarge { 
// Their HTTP client may or may not be 
// able to read this if we're 
// responding to them and hanging up 
// while they're still writing their 
// request. Undefined behavior. 
const publicErr = "431 Request Header Fields Too Large" 
fmt.Fprintf(c.rwc, "HTTP/1.1 "+publicErr+errorHeaders+publicErr) 
c.closeWriteAndWait() 
return 
} 
if isCommonNetReadError(err) { 
return // don't reply 
            } 
publicErr := "400 Bad Request" 
if v, ok := err.(badRequestError); ok { 
publicErr = publicErr + ": " + string(v) 
} 
fmt.Fprintf(c.rwc, "HTTP/1.1 "+publicErr+errorHeaders+publicErr) 
return 
} 
// Expect 100 Continue support 
req := w.req 
if req.expectsContinue() { 
if req.ProtoAtLeast(1, 1) && req.ContentLength != 0 { 
// Wrap the Body reader with one that replies on the connection 
req.Body = &expectContinueReader{readCloser: req.Body, resp: w} 
} 
} else if req.Header.get("Expect") != "" { 
w.sendExpectationFailed() 
return 
} 
c.curReq.Store(w) 
if requestBodyRemains(req.Body) { 
registerOnHitEOF(req.Body, w.conn.r.startBackgroundRead) 
} else { 
if w.conn.bufr.Buffered() > 0 { 
w.conn.r.closeNotifyFromPipelinedRequest() 
} 
w.conn.r.startBackgroundRead() 
} 
// HTTP cannot have multiple simultaneous active requests.[*] 
// Until the server replies to this request, it can't read another, 
// so we might as well run the handler in this goroutine. 
// [*] Not strictly true: HTTP pipelining. We could let them all process 
// in parallel even if their responses need to be serialized. 
// But we're not going to implement HTTP pipelining because it 
// was never deployed in the wild and the answer is HTTP/2. 
serverHandler{c.server}.ServeHTTP(w, w.req) 
w.cancelCtx() 
if c.hijacked() { 
return 
} 
w.finishRequest() 
if !w.shouldReuseConnection() { 
if w.requestBodyLimitHit || w.closedRequestBodyEarly() { 
c.closeWriteAndWait() 
} 
return 
} 
c.setState(c.rwc, StateIdle) 
c.curReq.Store((*response)(nil)) 
if !w.conn.server.doKeepAlives() { 
// We're in shutdown mode. We might've replied 
// to the user without "Connection: close" and 
// they might think they can send another 
// request, but such is life with HTTP/1.1. 
return 
} 
if d := c.server.idleTimeout(); d != 0 { 
c.rwc.SetReadDeadline(time.Now().Add(d)) 
if _, err := c.bufr.Peek(4); err != nil { 
return 
} 
} 
c.rwc.SetReadDeadline(time.Time{}) 
} 
}

使用defer定义了函数退出时，连接关闭相关的处理。然后就是读取连接的网络数据，并处理读取完毕时候的状态。接下来就是调用serverHandler{c.server}.ServeHTTP(w, w.req)方法处理请求了。最后就是请求处理完毕的逻辑。serverHandler是一个重要的结构，它近有一个字段，即Server结构，同时它也实现了Handler接口方法ServeHTTP，并在该接口方法中做了一个重要的事情，初始化multiplexer路由多路复用器。如果server对象没有指定Handler，则使用默认的DefaultServeMux作为路由Multiplexer。并调用初始化Handler的ServeHTTP方法。

// serverHandler delegates to either the server's Handler or 
// DefaultServeMux and also handles "OPTIONS *" requests. 
type serverHandler struct { 
srv *Server 
} 
func (sh serverHandler) ServeHTTP(rw ResponseWriter, req *Request) { 
handler := sh.srv.Handler 
if handler == nil { 
handler = DefaultServeMux 
} 
if req.RequestURI == "*" && req.Method == "OPTIONS" { 
handler = globalOptionsHandler{} 
} 
handler.ServeHTTP(rw, req) 
}

这里DefaultServeMux的ServeHTTP方法其实也是定义在ServeMux结构中的，相关代码如下：

// Find a handler on a handler map given a path string. 
// Most-specific (longest) pattern wins. 
func (mux *ServeMux) match(path string) (h Handler, pattern string) { 
// Check for exact match first. 
v, ok := mux.m[path] 
if ok { 
return v.h, v.pattern 
} 
// Check for longest valid match. 
var n = 0 
for k, v := range mux.m { 
if !pathMatch(k, path) { 
continue 
} 
if h == nil || len(k) > n { 
n = len(k) 
h = v.h 
pattern = v.pattern 
} 
} 
return 
} 
func (mux *ServeMux) Handler(r *Request) (h Handler, pattern string) { 
// CONNECT requests are not canonicalized. 
if r.Method == "CONNECT" { 
return mux.handler(r.Host, r.URL.Path) 
} 
// All other requests have any port stripped and path cleaned 
// before passing to mux.handler. 
host := stripHostPort(r.Host) 
path := cleanPath(r.URL.Path) 
if path != r.URL.Path { 
_, pattern = mux.handler(host, path) 
url := *r.URL 
url.Path = path 
return RedirectHandler(url.String(), StatusMovedPermanently), pattern 
} 
return mux.handler(host, r.URL.Path) 
} 
// handler is the main implementation of Handler. 
// The path is known to be in canonical form, except for CONNECT methods. 
func (mux *ServeMux) handler(host, path string) (h Handler, pattern string) { 
mux.mu.RLock() 
defer mux.mu.RUnlock() 
// Host-specific pattern takes precedence over generic ones 
if mux.hosts { 
h, pattern = mux.match(host + path) 
} 
if h == nil { 
h, pattern = mux.match(path) 
} 
if h == nil { 
h, pattern = NotFoundHandler(), "" 
} 
return 
} 
// ServeHTTP dispatches the request to the handler whose 
// pattern most closely matches the request URL. 
func (mux *ServeMux) ServeHTTP(w ResponseWriter, r *Request) { 
if r.RequestURI == "*" { 
if r.ProtoAtLeast(1, 1) { 
w.Header().Set("Connection", "close") 
} 
w.WriteHeader(StatusBadRequest) 
return 
} 
h, _ := mux.Handler(r) 
h.ServeHTTP(w, r) 
}

mux的ServeHTTP方法通过调用其Handler方法寻找注册到路由上的handler函数，并调用该函数的ServeHTTP方法，本例则是IndexHandler函数。

mux的Handler方法对URL简单的处理，然后调用handler方法，后者会创建一个锁，同时调用match方法返回一个handler和pattern。

在match方法中，mux的m字段是map[string]muxEntry图，后者存储了pattern和handler处理器函数，因此通过迭代m寻找出注册路由的patten模式与实际url匹配的handler函数并返回。

返回的结构一直传递到mux的ServeHTTP方法，接下来调用handler函数的ServeHTTP方法，即IndexHandler函数，然后把response写到http.RequestWirter对象返回给客户端。

上述函数运行结束即serverHandler{c.server}.ServeHTTP(w, w.req)运行结束。接下来就是对请求处理完毕之后上希望和连接断开的相关逻辑。

至此，Golang中一个完整的http服务介绍完毕，包括注册路由，开启监听，处理连接，路由处理函数。
多数的web应用基于HTTP协议，客户端和服务器通过request-response的方式交互。一个server并不可少的两部分莫过于路由注册和连接处理。Golang通过一个ServeMux实现了的multiplexer路由多路复用器来管理路由。同时提供一个Handler接口提供ServeHTTP用来实现handler处理其函数，后者可以处理实际request并构造response。

ServeMux和handler处理器函数的连接桥梁就是Handler接口。ServeMux的ServeHTTP方法实现了寻找注册路由的handler的函数，并调用该handler的ServeHTTP方法。ServeHTTP方法就是真正处理请求和构造响应的地方。

原创文章，作者：奋斗，如若转载，请注明出处：https://blog.ytso.com/12388.html