java如何将hdfs文件下载到本地-开发者知识库平台

java如何将hdfs文件下载到本地

Java

779

2024/2/28 17:14:56

栏目: 编程语言

可以使用FileSystem类和FSDataInputStream类来实现将HDFS文件下载到本地。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;

public class DownloadHDFSFile {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://localhost:8020");
            FileSystem fs = FileSystem.get(conf);

            Path hdfsFilePath = new Path("/path/to/hdfs/file");
            Path localFilePath = new Path("/path/to/local/file");

            FSDataInputStream in = fs.open(hdfsFilePath);
            FSDataOutputStream out = new FSDataOutputStream(new FileOutputStream(localFilePath), null);

            byte[] buffer = new byte[1024];
            int bytesRead;
            while ((bytesRead = in.read(buffer)) > 0) {
                out.write(buffer, 0, bytesRead);
            }

            in.close();
            out.close();
            fs.close();

            System.out.println("HDFS file downloaded successfully.");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在上面的代码中，首先创建了一个Configuration对象，设置了HDFS的配置信息。然后通过FileSystem.get(conf)方法获取一个FileSystem对象，用来操作HDFS文件系统。

接着指定需要下载的HDFS文件的路径hdfsFilePath和本地文件的路径localFilePath。使用fs.open(hdfsFilePath)方法打开HDFS文件，并创建一个FSDataOutputStream对象来写入本地文件。

然后使用一个循环读取HDFS文件的内容，并写入本地文件，直到文件读取完毕。最后关闭输入流、输出流和文件系统对象，完成文件下载操作。

请注意，需要在项目中引入Hadoop的相关依赖包，以便能够正常编译和运行上面的代码。

辰迅云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>

java如何将hdfs文件下载到本地

最新知识库

相关标签