hdfs下载文件到本地的方法是什么-开发者知识库平台

hdfs下载文件到本地的方法是什么

hdfs

863

2024/4/23 15:00:38

栏目: 编程语言

要将HDFS中的文件下载到本地，可以使用以下方法：

使用hadoop fs命令：

hadoop fs -get hdfs://<HDFS文件路径> <本地文件路径>

例如：

hadoop fs -get hdfs://localhost:9000/user/test.txt /tmp/test.txt

使用distcp命令：

hadoop distcp hdfs://<HDFS文件路径> file://<本地文件路径>

例如：

hadoop distcp hdfs://localhost:9000/user/test.txt file:///tmp/test.txt

使用Java API：可以使用Hadoop提供的Java API来读取HDFS中的文件并将其写入本地文件系统。以下是一个简单的Java示例代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSDownload {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(conf);
            Path hdfsFilePath = new Path("hdfs://localhost:9000/user/test.txt");
            Path localFilePath = new Path("/tmp/test.txt");
            fs.copyToLocalFile(hdfsFilePath, localFilePath);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

辰迅云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>

hdfs下载文件到本地的方法是什么

最新知识库

相关标签