publish version 0.7.1;

delete and move some comments and TODOs;
Bin-Huang · Aug 2, 2017 · 05a324f · 05a324f
1 parent fcf6d4a
commit 05a324f
Show file tree

Hide file tree

Showing 12 changed files with 19 additions and 22 deletions.
diff --git a/TODO b/TODO
@@ -3,5 +3,5 @@
 - document in English
 - share package in some nodejs's bbs
 - website? www.nodespider.org
-
+- 设计考虑：plan管理中，使用class继承的方式替代type？对不同class的plan进行任务管理，往往就能解决不同种类任务的管理问题
 - 考虑使用 add 代替 pipe 和 plan
diff --git a/build/defaultPlan.js b/build/defaultPlan.js
@@ -15,7 +15,6 @@ const preToUtf8_1 = require("./preToUtf8");
  * 默认值 type: "default", info: {}, option: {request: {encoding: null}, pre: [preToUtf8(), preLoadJq()], callback }
  * @param planOptionInput
  */
-// TODO C 考虑是否使用类继承的方式，代替type
 function defaultPlan(planOptionInput) {
     // 当只传入一个rule函数，则包装成 IPlanInput 对象
     if (typeof planOptionInput === "function") {

diff --git a/build/downloadPlan.js b/build/downloadPlan.js
@@ -11,7 +11,7 @@ Object.defineProperty(exports, "__esModule", { value: true });
 const fs = require("fs-extra");
 const path = require("path");
 const request = require("request");
-// TODO B
+// TODO B 完成pipe发生函数
 function downloadPlan(opts) {
     // TODO B 参数检验与默认赋值
     const planOption = opts;

diff --git a/build/pipe.js b/build/pipe.js
@@ -29,8 +29,8 @@ class TxtTable {
      * @param {Object} data
      */
     add(data) {
-        // TODO: 参数检测
         let chunk = "";
+        // 按顺序写入符合关键字段的数据，不存在于关键字列表的数据将被无视
         for (const item of this.header) {
             if (chunk !== "") {
                 chunk += "\t";
@@ -120,7 +120,7 @@ class CsvPipe {
      * @param {Object} data
      */
     add(data) {
-        // TODO: 参数检测
+        // 按顺序写入符合关键字段的数据，不存在于关键字列表的数据将被无视
         let chunk = "";
         for (const item of this.header) {
             if (chunk !== "") {

diff --git a/build/spider.js b/build/spider.js
@@ -5,7 +5,6 @@
 // redis queue
 // TODO B 注册pipe和queue可能存在异步操作，此时应该封装到promise或async函数。但依然存在问题：当还没注册好，就调动了queue或者save
 // TODO C 更良好的报错提示
-// TODO C handleError
 Object.defineProperty(exports, "__esModule", { value: true });
 const events_1 = require("events");
 const uuid = require("uuid/v1");
@@ -298,8 +297,9 @@ function timerCallbackWhenMaxIsNumber(self) {
     }
     else {
         if (self._STATE.currentTotalConnections === 0) {
-            // TODO C 爬虫工作全部完成
             // 当所有连接已经结束，将开始执行结束
+            // TODO C 更好的事件名
+            self.emit("done"); // 爬虫工作全部结束，进入 end 阶段
         }
     }
 }
@@ -327,8 +327,8 @@ function timerCallbackWhenMaxIsObject(self) {
     }
     else {
         if (self._STATE.currentTotalConnections === 0) {
-            // TODO C 爬虫工作全部完成
-            // 当所有连接已经结束，将开始执行结束
+            // TODO C 更好的事件名
+            self.emit("done"); // 爬虫工作全部结束，进入 end 阶段
         }
     }
 }

diff --git a/package.json b/package.json
@@ -1,6 +1,6 @@
 {
   "name": "nodespider",
-  "version": "0.7.0",
+  "version": "0.7.1",
   "description": "Simple, flexible, delightful web crawler/spider package",
   "main": "./build/index.js",
   "typings": "./build/index.d.ts",

diff --git a/src/defaultPlan.ts b/src/defaultPlan.ts
@@ -31,7 +31,7 @@ export interface ICurrent extends ITask {
  * 默认值 type: "default", info: {}, option: {request: {encoding: null}, pre: [preToUtf8(), preLoadJq()], callback }
  * @param planOptionInput
  */
-// TODO C 考虑是否使用类继承的方式，代替type
+
 export default function defaultPlan(planOptionInput: IDefaultPlanOptionCallback|IDefaultPlanOptionInput): IPlan {
     // 当只传入一个rule函数，则包装成 IPlanInput 对象
     if (typeof planOptionInput === "function") {

diff --git a/src/downloadPlan.ts b/src/downloadPlan.ts
@@ -4,7 +4,7 @@ import * as request from "request";
 import NodeSpider from "./spider";
 import { IPlan, ITask } from "./types";
 
-// TODO B
+// TODO B 完成pipe发生函数
 export default function downloadPlan(opts) {
     // TODO B 参数检验与默认赋值
     const planOption = opts;

diff --git a/src/pipe.ts b/src/pipe.ts
@@ -38,8 +38,8 @@ class TxtTable {
      * @param {Object} data
      */
     public add(data: any) {
-        // TODO: 参数检测
         let chunk = "";
+        // 按顺序写入符合关键字段的数据，不存在于关键字列表的数据将被无视
         for (const item of this.header) {
             if (chunk !== "") {
                 chunk += "\t";
@@ -144,8 +144,7 @@ class CsvPipe {
      * @param {Object} data
      */
     public add(data: any) {
-        // TODO: 参数检测
-
+        // 按顺序写入符合关键字段的数据，不存在于关键字列表的数据将被无视
         let chunk = "";
         for (const item of this.header) {
             if (chunk !== "") {

diff --git a/src/preLoadJq.ts b/src/preLoadJq.ts
@@ -21,7 +21,7 @@ function loadJqOperation(error: Error, currentTask: ICurrent) {
     // 自动处理了锚和 javascript: void(0)
     // TODO B 存在不合法链接的返回
     $.prototype.url = function() {
-        const result = [];
+        const result: string[] = [];
         $(this).each(function() {
             let newUrl = $(this).attr("href");
             // 如果为空，或是类似 'javascirpt: void(0)' 的 js 代码，直接跳过
@@ -47,7 +47,7 @@ function loadJqOperation(error: Error, currentTask: ICurrent) {
      * @returns {array}
      */
     $.prototype.src = function() {
-        const result = [];
+        const result: string[] = [];
         $(this).each(function() {
             let newUrl = $(this).attr("src");
             // 如果是相对路径，补全路径为绝对路径

diff --git a/src/spider.ts b/src/spider.ts
@@ -4,7 +4,6 @@
 // redis queue
 // TODO B 注册pipe和queue可能存在异步操作，此时应该封装到promise或async函数。但依然存在问题：当还没注册好，就调动了queue或者save
 // TODO C 更良好的报错提示
-// TODO C handleError
 
 import * as charset from "charset";
 import * as cheerio from "cheerio";
@@ -354,8 +353,9 @@ function timerCallbackWhenMaxIsNumber(self: NodeSpider) {
         startTask(type, task, self);
     } else {
         if (self._STATE.currentTotalConnections === 0) {
-            // TODO C 爬虫工作全部完成
             // 当所有连接已经结束，将开始执行结束
+            // TODO C 更好的事件名
+            self.emit("done");   // 爬虫工作全部结束，进入 end 阶段
         }
     }
 }
@@ -386,8 +386,8 @@ function timerCallbackWhenMaxIsObject(self: NodeSpider) {
         startTask(type, task, self);
     } else {
         if (self._STATE.currentTotalConnections === 0) {
-            // TODO C 爬虫工作全部完成
-            // 当所有连接已经结束，将开始执行结束
+            // TODO C 更好的事件名
+            self.emit("done");   // 爬虫工作全部结束，进入 end 阶段
         }
     }
 }

diff --git a/src/types.ts b/src/types.ts
@@ -58,7 +58,6 @@ export interface ITask {
 }
 
 // ====== request options ======
-
 export interface IRequestOpts {
 
 }