乡里伢崽
- 浏览: 108919 次
- 性别:
- 来自: 深圳
-
最新评论
-
土豆蛋儿：
我想读取一个外部文件，以什么方式好了？ 文件内容经常编辑
flume 自定义source -
土豆蛋儿：
大神，您好。
flume 自定义source
文章列表
hive元数据和mysql表的对应
- 博客分类：
- hive
Hive元数据解析
本文是笔者初步整理的Hive元数据表，有不准确的地方请轻拍，后续我会补充.
1. Hive 0.11 元数据表汇总
线上Hive 0.11 metastore包括下述39个表，主要分为以下几类 ：
Database相关
Table相关
数据存储相关SDS
COLUMN相关
SERDE相关(序列化)
Partition相关(分区)
SKEW相关(数据倾斜)
BUCKET相关(分桶)
PRIVS相关(权限管理)
mysql> show tables;
+-------------------- ...
hive初始化、处理流程详解
- 博客分类：
- hive
CliDriver
初始化过程
CliDriver.main 是 Cli 的入口
（1） 解析(Parse)args，放入cmdLine，处理 –hiveconf var=val 用于增加或者覆盖hive/hadoop配置，设置到System的属性中。
（2） 配置log4j，加载hive-log4j.properties里的配置信息。
（3）创建 ...
Hive metastore三种配置方式
- 博客分类：
- hive
Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式，链接为：Hive Metastore。
一、本地derby
这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可
[html] view plaincopyprint?
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> ...
derby 的配置及jdbc连接
- 博客分类：
- hive
hive-default.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby:;databaseName=metastore_db;create=true</value> 表示使用嵌入式的derby，create为true表示自动创建数据库，数据库名为metastore_db
<!--<value>jdbc:derby://192.168.0.3:4567/hadoopor;create=true< ...
第一部分：Hive 参数
hive.exec.max.created.files
•说明：所有hive运行的map与reduce任务可以产生的文件的和
•默认值:100000
hive.exec.dynamic.partition
•说明：是否为自动分区
•默认值：false
hive.mapred.reduce.tasks.speculative.execution
•说明：是否打开推测执行
•默认值：true
hive.input.format
•说明：Hive默认的input format
•默认值： org.apache.hadoop.hive.ql.io.Com ...
hive外部表建立时出现的问题
- 博客分类：
- hive
1：刚刚研究hive，遇到一个很迷糊的问题，我想load hadoop下的a.txt文件，将这些数据导入到/user/hive/warehouse/下的testHiveDriverTable表中，只想导入数据，不想移动该文件。
2但是每次运行后，该文件都会自动的移动到/user/hive/warehouse/下。我看教程说，建立外部表的话，就不会移动hdfs上的文件位置，但是这些我都尝试了，还是没有解决问题。请各位看看如何处理
3：代码如下：
建表语句：ResultSet res = stmt.executeQuery("create external table " ...
警告信息：
WARN conf.HiveConf: DEPRECATED: Configuration property hive.metastore.local no longer has any effect.
Make sure to provide a valid value for hive.metastore.uris if you are connecting to a remote metastore.
在0.10 0.11或者之后的HIVE版本 hive.metastore.local 属性不再使用。
在配置文件里面：
<property>
& ...
以下异常使用的是spring是3.1.1，是我自己学习中遇到的错误笔记，有可能不是都适用，仅做参考
异常1：java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory
缺少包commons-logging的jar，本人下载了一个commons-logging-1.1.1.jar，引入，问题解决，下载地址点击打开链接
异常2：java.lang.NoClassDefFoundError: org/springframework/dao/support/PersistenceExceptionTranslato ...