3.5  Java接口

在本小節(jié)，我們要深入探索Hadoop的Filesystem類：與Hadoop的文件系統(tǒng)交互的API。 雖然我們主要關(guān)注的是HDFS的實(shí)現(xiàn)DistributedFileSystem，但總體來說，還是應(yīng)該努力編寫不同于FileSsytem抽象類的代 碼，以保持其在不同文件系統(tǒng)中的可移植性。這是考驗(yàn)編程能力的最佳手段，因?yàn)槲覀兒芸炀涂梢允褂么鎯?chǔ)在本地文件系統(tǒng)中的數(shù)據(jù)來運(yùn)行測試了。

3.5.1  從Hadoop URL中讀取數(shù)據(jù)

要從Hadoop文件系統(tǒng)中讀取文件，一個(gè)最簡單的方法是使用java.net.URL對象來打開一個(gè)數(shù)據(jù)流，從而從中讀取數(shù)據(jù)。一般的格式如下：

    
    InputStream in = null;  
    
try {  
    
     in = new URL("hdfs://host/path").openStream();  
    
     // process in  
    
} finally {  
    
     IOUtils.closeStream(in);  
    
} 

這里還需要一點(diǎn)工作來讓Java識別Hadoop文件系統(tǒng)的URL 方案，就是通過一個(gè)FsUrlStreamHandlerFactory實(shí)例來調(diào)用在URL中的setURLStreamHandler-Factory 方法。這種方法在一個(gè)Java虛擬機(jī)中只能被調(diào)用一次，因此一般都在一個(gè)靜態(tài)塊中執(zhí)行。這個(gè)限制意味著如果程序的其他部件(可能是不在你控制中的第三方部 件)設(shè)置一個(gè)URLStreamHandlerFactory，我們便無法再從Hadoop中讀取數(shù)據(jù)。下一節(jié)將討論另一種方法。

例3-1展示了以標(biāo)準(zhǔn)輸出顯示Hadoop文件系統(tǒng)的文件的程序，它類似于Unix的cat命令。

例3-1：用URLStreamHandler以標(biāo)準(zhǔn)輸出格式顯示Hadoop文件系統(tǒng)的文件

    
public class URLCat {  
    
 
    
  static {  
    
    URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());  
    
  }  
    
    
    
  public static void main(String[] args) throws Exception {  
    
    InputStream in = null;  
    
    try {  
    
      in = new URL(args[0]).openStream();  
    
      IOUtils.copyBytes(in, System.out, 4096, false);  
    
    } finally {  
    
      IOUtils.closeStream(in);  
    
    }  
    
  }  
    
} 

我們使用Hadoop中簡潔的IOUtils類在finally子句中關(guān)閉數(shù)據(jù)流，同時(shí)復(fù)制輸入流和輸出流之間的字節(jié)(本例中是 System.out)。copyBytes方法的最后兩個(gè)參數(shù)，前者是要復(fù)制的緩沖的大小，后者表示復(fù)制結(jié)束后是否關(guān)閉數(shù)據(jù)流。這里是將輸入流關(guān)掉了， 而System.out不需要關(guān)閉。

下面是一個(gè)運(yùn)行示例：

    
    % hadoop URLCat hdfs://localhost/user/tom/quangle.txt  
    
On the top of the Crumpetty Tree  
    
The Quangle Wangle sat,  
    
But his face you could not see,  
    
On account of his Beaver Hat.