Hive常见问题及处理方法

发布时间:2021-09-23 00:36:42

    Hive是什么
    Hive是基于Hadoop的一个数据仓库工具,应该是整个Hadoop系统中最常使用的一个功能组件,通过内部的关系型元数据库,将存储在hdfs中的文件有效的管理起来,并提供类SQL的数据库操作语言,满足大数据集的统计分析工作。关于Hive的架构原理和基本操作部分,可以参考如下这篇文章(http://www.cnblogs.com/wangrd/p/6275162.html)

    Hive操作中常见的问题及处理方法
    1)如何在脚本中嵌入hive操作语句
    命令:hive -e “语句块”
    案例:
    hive -e “set io.sort.mb=10; select did,mac,made,count(*) from table_name where date between ‘2016-06-01’ and ‘2016-06-30’ and io =’in’ and (did is not null and did<>”) group by did,mac,made ”
    说明:语句块中,各个语句之间用分号分隔

    2)大数据集情况下,hive查询提示” Java heap space”错误
    解决办法:调整hive的io.sort.mb参数(默认值为100),使其值在10-80之间
    命令:set io.sort.mb=10

    3)Hive中空值处理
    hive中空值有两种形态:null 和’ ‘,其存储规则为:若字段类型为string,则null的存储值为N, ’ ‘的存储值为本身,其他字段类型如int的存储值均为N;对于string类型,条件is null 查出来的是N的数据;而条件 =’’,查询出来的是”“的数据
    hive可自定义字符来表示null,比如用’ ‘表示null,实现空值的存储统一.
    命令如下:
    alter table tab_name set serdeproperties(‘serialization.null.format’=”)
    空值条件查询(针对字符串):
    select b.id,b.name from b where b.name<>’’ and b.name is not null;

    4)查看hive表数据的存储路径
    指令:show create table table_name;
    实例:
    (https://img-blog.csdn.net/20170915151428947?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvenlsb3ZlMjAxMA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

    5)Load hdfs文件时报SemanticException [Error 10028]错误
    原因说明:Line 1:17 Path is not legal,Please check that values for params “default.fs.name” and “hive.metastore.warehouse.dir” do not conflict.
    hive配置文件被更改导致
    解决办法:Load 文件时,添加Path的绝对路径即可,且主机IP需用别名。
    load data inpath ‘hdfs://master1:9000/home/liuh3/router_mac/part-00000’ into table router_m;

    后续遇到新的问题再补充。。

相关文档

  • 华硕电脑显示器怎么样
  • 学习机能当平板电脑用吗
  • 描写柳絮的散文
  • 考研经验谈
  • 蔬菜汁真的能减肥美容?
  • 网站设计论文
  • 电脑qq音乐导入itunes
  • 世界十大豪华别墅有哪些
  • 西红柿是发物吗?西红柿是不是发物?
  • 哪些水果能预防近视
  • 给台湾同胞的信
  • jam吉他弹唱练习曲
  • 学习JavaWeb第一天
  • 我的梦想校园
  • 贵的反义词是有哪些
  • wps电脑突然关机没保存怎么办
  • 2021大学开学典礼新生代表发言稿多篇
  • 法国留学行李清单介绍
  • VMware12安装centOS8(vm虚拟机安装centos8教程)
  • 初二英语作文:An Activity 一次活动
  • 女人梦见茄子是什么意思周公解梦
  • noip2017奶酪
  • 2020年柳州所有大学排名广西柳州有哪些大学(本科专科)
  • 关于花的诗句集绵
  • java解压tar.gz文件夹_使用Java API进行tar.gz文件及文件夹压缩解压缩
  • 《猎人海力布》读后感500字
  • 日常交通安全常规知识
  • 英国移民需要满足哪些条件?
  • oppo手机接电话不显示号码怎么办
  • 五行属金带金起的名字
  • 猜你喜欢

  • 美术计划总结-2019年下半学期美术学科教研计划 精品
  • 饼能组什么成语
  • 上海?凌信息科技有限公司企业信息报告-天眼查
  • 2019《学会看病》快乐练习:达标训练精品教育.doc
  • 初一作文叙事:一件快乐的事
  • “十三五”重点项目-防腐油木杆项目申请报告
  • 来不及的梦
  • 医附院外科楼工程临时用电施工组织设计方案
  • 金房(湖南韶山)国际酒店管理有限公司企业信用报告-天眼查
  • 2018年秋八年级生物人教版习题课件:第五单元 第三节 软体动物和节肢动物.pptx(共19张PPT)
  • 潘多拉保值吗
  • 初中作文 记忆中的甜蜜味道-精品
  • 2016广西省公务员公共基础知识习题及答案
  • 浅析影响教育决策过程的心理因素
  • 慈善捐款领导讲话稿
  • 存储模型森林救火数学建模
  • WCDMA移动通信原理
  • 挂篮悬臂浇筑法在连续箱梁施工中的应用
  • 女性贫血吃什么比较好?
  • 2016-2017苏教版四年级数学上册《整理与复*》全单元教学设计
  • 极域电子教室故障
  • 凉山州人民政府关于加快气象事业发展的意见
  • 商业项目策划经理职位描述
  • 2020年度初中英语教师个人工作总结精选3篇
  • 转发: 说声放弃太容易
  • 山西人事考试网 2014年山西公务员考试面试技巧:无领导讨论到最后说点啥
  • 郑州信息科技职业学院彩色复古毕业论文PPT模板毕业论文毕业答辩开题报告优秀PPT模板
  • 2019-2020学年八年级政治上册 6.2 与诚信结伴同行学案 鲁教版.doc
  • 最新-5.1公司的经营 马敏杰.ppt-PPT文档资料
  • 六年级下册数学试题-毕业模拟卷 苏教版(2014秋) 无答案
  • WP联系人同步到Android教程(通过OUTLOOK)
  • Testability analysis of a UML class diagram
  • 苍防五皮饮的功效与作用 药用价值 用法用量
  • 全市半年经济工作会议上的讲话
  • 2019年三年级中秋节作文300字-中秋节的夜晚
  • 【精品】二年级上册语文试题-2018-2019学年上学期期末考试 湖南永州市新田县 人教部编版(含答案)
  • openstack kilo版本中window7镜像蓝屏问题
  • xx年科技局工作总结计划
  • 2014年广东省广州市天河区小升初数学试卷及参考答案
  • 高中历史 第3课 王安石变法的历史作用课件 新人教版选修1
  • 2018年市创建全科医生制度办法-word范文 (1页)
  • 2015年教师资格证考试《中学教育知识与能力》重点突破题(2)(教师版)
  • 电脑版