DIV CSS 佈局教程網

 DIV+CSS佈局教程網 >> 網頁腳本 >> JavaScript入門知識 >> 關於JavaScript >> Nodejs學習筆記之Stream模塊
Nodejs學習筆記之Stream模塊
編輯:關於JavaScript     

一,開篇分析

流是一個抽象接口,被 Node 中的很多對象所實現。比如對一個 HTTP 服務器的請求是一個流,stdout 也是一個流。流是可讀,可寫或兼具兩者的。

最早接觸Stream是從早期的unix開始的, 數十年的實踐證明Stream 思想可以很簡單的開發出一些龐大的系統。

在unix裡,Stream是通過 "|" 實現的。在node中,作為內置的stream模塊,很多核心模塊和三方模塊都使用到。

和unix一樣,node stream主要的操作也是.pipe(),使用者可以使用反壓力機制來控制讀和寫的平衡。

Stream 可以為開發者提供可以重復使用統一的接口,通過抽象的Stream接口來控制Stream之間的讀寫平衡。

一個TCP連接既是可讀流,又是可寫流,而Http連接則不同,一個http request對象是可讀流,而http response對象則是可寫流。

流的傳輸過程默認是以buffer的形式傳輸的,除非你給他設置其他編碼形式,以下是一個例子:

代碼如下:
 var http = require('http') ;
  var server = http.createServer(function(req,res){
     res.writeHeader(200, {'Content-Type': 'text/plain'}) ;
     res.end("Hello,大熊!") ;
  }) ;
  server.listen(8888) ;
  console.log("http server running on port 8888 ...") ;

運行後會有亂碼出現,原因就是沒有設置指定的字符集,比如:“utf-8” 。

修改一下就好:

代碼如下:
 var http = require('http') ;
 var server = http.createServer(function(req,res){
    res.writeHeader(200,{
        'Content-Type' : 'text/plain;charset=utf-8'  // 添加charset=utf-8
    }) ;
    res.end("Hello,大熊!") ;
 }) ;
 server.listen(8888) ;
 console.log("http server running on port 8888 ...") ;

運行結果:

為什麼使用Stream
node中的I/O是異步的,因此對磁盤和網絡的讀寫需要通過回調函數來讀取數據,下面是一個文件下載例子
上代碼:

代碼如下:
 var http = require('http') ;
 var fs = require('fs') ;
 var server = http.createServer(function (req, res) {
     fs.readFile(__dirname + '/data.txt', function (err, data) {
         res.end(data);
     }) ;
 }) ;
 server.listen(8888) ;

代碼可以實現需要的功能,但是服務在發送文件數據之前需要緩存整個文件數據到內存,如果"data.txt"文件很
大並且並發量很大的話,會浪費很多內存。因為用戶需要等到整個文件緩存到內存才能接受的文件數據,這樣導致
用戶體驗相當不好。不過還好(req,res)兩個參數都是Stream,這樣我們可以用fs.createReadStream()代替fs.readFile()。如下:

代碼如下:
 var http = require('http') ;
 var fs = require('fs') ;
 var server = http.createServer(function (req, res) {
     var stream = fs.createReadStream(__dirname + '/data.txt') ;
     stream.pipe(res) ;
 }) ;
 server.listen(8888) ;

.pipe()方法監聽fs.createReadStream()的'data' 和'end'事件,這樣"data.txt"文件就不需要緩存整
個文件,當客戶端連接完成之後馬上可以發送一個數據塊到客戶端。使用.pipe()另一個好處是可以解決當客戶
端延遲非常大時導致的讀寫不平衡問題。

有五種基本的Stream:readable,writable,transform,duplex,and "classic” 。(具體使用請自己查閱api)

二,實例引入

當內存中無法一次裝下需要處理的數據時,或者一邊讀取一邊處理更加高效時,我們就需要用到數據流。NodeJS中通過各種Stream來提供對數據流的操作。

以大文件拷貝程序為例,我們可以為數據源創建一個只讀數據流,示例如下:

代碼如下:
 var rs = fs.createReadStream(pathname);
 rs.on('data', function (chunk) {
     doSomething(chunk) ; // 具體細節自己任意發揮
 });
 rs.on('end', function () {
     cleanUp() ;
 }) ;

代碼中data事件會源源不斷地被觸發,不管doSomething函數是否處理得過來。代碼可以繼續做如下改造,以解決這個問題。

代碼如下:
 var rs = fs.createReadStream(src) ;
 rs.on('data', function (chunk) {
     rs.pause() ;
     doSomething(chunk, function () {
         rs.resume() ;
     }) ;
 }) ;
 rs.on('end', function () {
     cleanUp();
 })  ;

給doSomething函數加上了回調,因此我們可以在處理數據前暫停數據讀取,並在處理數據後繼續讀取數據。

此外,我們也可以為數據目標創建一個只寫數據流,如下:

代碼如下:
 var rs = fs.createReadStream(src) ;
 var ws = fs.createWriteStream(dst) ;
 rs.on('data', function (chunk) {
     ws.write(chunk);
 }) ;
 rs.on('end', function () {
     ws.end();
 }) ;

doSomething換成了往只寫數據流裡寫入數據後,以上代碼看起來就像是一個文件拷貝程序了。但是以上代碼存在上邊提到的問題,如果寫入速度跟不上讀取速度的話,只寫數據流內部的緩存會爆倉。我們可以根據.write方法的返回值來判斷傳入的數據是寫入目標了,還是臨時放在了緩存了,並根據drain事件來判斷什麼時候只寫數據流已經將緩存中的數據寫入目標,可以傳入下一個待寫數據了。因此代碼如下:

代碼如下:
 var rs = fs.createReadStream(src) ;
 var ws = fs.createWriteStream(dst) ;
 rs.on('data', function (chunk) {
     if (ws.write(chunk) === false) {
         rs.pause() ;
     }
 }) ;
 rs.on('end', function () {
     ws.end();
 });
 ws.on('drain', function () {
     rs.resume();
 }) ;

最終實現了數據從只讀數據流到只寫數據流的搬運,並包括了防爆倉控制。因為這種使用場景很多,例如上邊的大文件拷貝程序,NodeJS直接提供了.pipe方法來做這件事情,其內部實現方式與上邊的代碼類似。

下面是一個更加完整的復制文件的過程:

代碼如下:
var fs = require('fs'),
  path = require('path'),
  out = process.stdout;
var filePath = '/bb/bigbear.mkv';
var readStream = fs.createReadStream(filePath);
var writeStream = fs.createWriteStream('file.mkv');
var stat = fs.statSync(filePath);
var totalSize = stat.size;
var passedLength = 0;
var lastSize = 0;
var startTime = Date.now();
readStream.on('data', function(chunk) {
  passedLength += chunk.length;
  if (writeStream.write(chunk) === false) {
    readStream.pause();
  }
});
readStream.on('end', function() {
  writeStream.end();
});
writeStream.on('drain', function() {
  readStream.resume();
});
setTimeout(function show() {
  var percent = Math.ceil((passedLength / totalSize) * 100);
  var size = Math.ceil(passedLength / 1000000);
  var diff = size - lastSize;
  lastSize = size;
  out.clearLine();
  out.cursorTo(0);
  out.write('已完成' + size + 'MB, ' + percent + '%, 速度:' + diff * 2 + 'MB/s');
  if (passedLength < totalSize) {
    setTimeout(show, 500);
  } else {
    var endTime = Date.now();
    console.log();
    console.log('共用時:' + (endTime - startTime) / 1000 + '秒。');
  }
}, 500);

可以把上面的代碼保存為 "copy.js" 試驗一下我們添加了一個遞歸的 setTimeout (或者直接使用setInterval)來做一個旁觀者,

每500ms觀察一次完成進度,並把已完成的大小、百分比和復制速度一並寫到控制台上,當復制完成時,計算總的耗費時間。

三,總結一下

(1),理解Stream概念。

(2),熟練使用相關Stream的api

(3),注意細節的把控,比如:大文件的拷貝,采用的使用 “chunk data” 的形式進行分片處理。

(4),pipe的使用

(5),再次強調一個概念:一個TCP連接既是可讀流,又是可寫流,而Http連接則不同,一個http request對象是可讀流,而http response對象則是可寫流。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved