spark怎么读取本地文件路径

985
2024/5/26 10:22:07
栏目: 大数据
开发者测试专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

在Spark中读取本地文件路径,可以使用sc.textFile方法来读取文本文件,或者使用spark.read.csv来读取CSV文件。

下面是一个示例代码,读取本地文本文件的路径:

from pyspark import SparkContext

# 创建SparkContext对象
sc = SparkContext("local", "Read Local File")

# 读取本地文件路径
file_path = "file:///path/to/your/file.txt"
rdd = sc.textFile(file_path)

# 打印文件内容
for line in rdd.collect():
    print(line)

# 关闭SparkContext
sc.stop()

如果要读取CSV文件,可以使用以下代码:

from pyspark.sql import SparkSession

# 创建SparkSession对象
spark = SparkSession.builder.appName("Read Local CSV").getOrCreate()

# 读取本地CSV文件路径
file_path = "file:///path/to/your/file.csv"
df = spark.read.csv(file_path, header=True)

# 显示数据框内容
df.show()

# 停止SparkSession
spark.stop()

请注意,需要替换示例代码中的文件路径为您实际文件的路径。

辰迅云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

推荐阅读: 怎么利用spark进行数据分析