go

条目处理管道的接口拥有额外的 ItemProcessors、Send、FailFast 和 SetFailFast 方法，因此其实现类型 myPipeline 的基本结构是这样的：…

分析器的接口包含两个额外的方法 RespParsers 和 Analyze，其中前者会返回当前分析器使用的 HTTP 响应解析函数（以下简称解析函数）的列表因此，分析器的实现类型有…

与 ModuleInternal 接口一样，下载器接口 Downloader 也内嵌了 Module 接口，它额外声明了一个 Download 方法。有了 ModuleIntern…

在讲解下载器接口设计时，我们介绍过组件注册方面的设计和组件注册器接口 Registrar，它声明在 module 包中。根据前面的接口描述，我们会让组件注册器按照类型存储已注册的组…

首先要做的是，先为组件通用功能定义一个内部接口，这里把它叫做组件的内部基础接口。内部基础接口及其实现类型存放在了代码包 gopcp.v2/chapter6/webcrawler/m…

相比前面两节中介绍的缓冲器和缓冲池，多重读取器的实现就简单多了。首先是基本结构： //多重读取器的实现类型 type myMultipleReader struct { data …

缓冲池的基本结构如下： //数据缓冲池接口的实现类型 type myPool struct { //缓冲器的统一容量 bufferCap uint32 //缓冲器的最大数量 max…

缓冲器的基本结构如下： //集冲器接口的实现类型 type myBuffer struet { //存放数据的通道 ch chan interface{} //缓冲器的关闭状态：0…

这里所说的接口是指网络爬虫框架中各个模块的接口。与先前描述的基本数据结构不同，它们的主要职责是定义模块的行为。在定义行为的过程中，我会对它们应有的功能作进一步的审视，同时也会更多地…

为了承载和封装数据，需要先声明一些基本的数据结构。网络爬虫框架中的各个模块都会用到这些数据结构，所以可以说它们是这一程序的基础。 在分析网络爬虫框架的需求时，提到过这样几类数据&m…