【最佳实践】使用DLI将CSV数据转换为Parquet数据

业务场景介绍

Parquet是面向分析型业务的列式存储格式，这种格式可以加快查询速度，查询Parquet格式数据时，只检查所需要的列并对它们的其值执行计算，也就是说，只读取一个数据文件或表的一小部分数据。Parquet 还支持灵活的压缩选项，因此可以显著减少磁盘上的存储。使用DLI可轻松将CSV格式数据转换为Parquet格式数据。

操作流程

1. 创建CSV数据，例如，如图1所示test.csv：
   图1 创建test.csv文件
   

2. 在OBS上建桶obs-csv-parquet，并将test.csv文件上传至OBS，如图2所示：
   图2 上传CSV数据至OBS
   

3. 在DLI的SQL编辑窗口中创建OBS表test_csv_hw并导入test.csv数据。

   create table test_csv_hw(id1 int, id2 int, id3 int, id4 int, id5 int) using csv options(path 's3a://obs-csv-parquet/test.csv')

4. 在DLI的SQL编辑窗口中查询表test_csv_hw中的数据。
   图3 查询表test_csv_hw
   

5. 在OBS上创建一个新的桶obs-parquet-data用于存储Parquet数据。
6. 在DLI的SQL编辑窗口中创建OBS表test_parquet_hw。

   CREATE TABLE `test_parquet_hw` (`id1` INT, `id2` INT, `id3` INT, `id4` INT, `id5` INT)

   USING parquet

   OPTIONS (

   path 's3a://obs-parquet-data/'

   )

   

   不需要指明具体的文件，因为在将数据从CSV格式转换为Parquet格式之前，不存在任何Parquet文件。

7. 在DLI的SQL编辑窗口中将CSV数据转换为Parquet数据并存储在OBS中。

   insert into test_parquet_hw select * from test_csv_hw

8. 检查结果，如图4所示，系统自动创建了一个文件用于保存结果。
   图4 保存Parquet数据