分区表优化 ORC压缩1. 查看当前表的分区情况2. 分区裁剪查询只扫描特定分区3. 对比 ORC 和 TEXT 文件大小DESCRIBE FORMATTED dwd_user_behavior;DESCRIBE FORMATTED:能看到字段、分区、存储格式、压缩、存储路径等所有关键信息。hadoop fs -ls /user/hive/warehouse/dw_taobao.db/dwd_user_behavior/hadoop fs -ls /user/hive/warehouse/dw_taobao.db/ods_user_behavior/4. 优化查询只读取需要的列问题总结执行hadoop fs -ls /user/hive/warehouse/dw_taobao.db/dwd_user_behavior/时提示No such file or directory问题原因Hive 元数据与 HDFS 不一致表在 Hive 元数据中存在但数据实际存储在本地文件系统file:///而不是 HDFShdfs://warehouse 目录配置错误hive-site.xml中的hive.metastore.warehouse.dir配置成了本地路径解决方案步骤1确认数据实际位置# 在 Hive 中查看表的位置 DESCRIBE FORMATTED dwd_user_behavior; # 找到 Location 字段步骤2创建 HDFS 目录并迁移数据# 创建 HDFS 目录 hadoop fs -mkdir -p /user/hive/warehouse/dw_taobao.db # 迁移本地数据到 HDFS hadoop fs -put /user/hive/warehouse/dw_taobao.db/* /user/hive/warehouse/dw_taobao.db/步骤3修改 Hive 配置property namehive.metastore.warehouse.dir/name valuehdfs://hadoop01:9000/user/hive/warehouse/value /property明日任务数据倾斜处理