手把手教你在腾讯云上搭建hive3.1.2的方法

这篇文章主要介绍了手把手教你在腾讯云上搭建hive3.1.2的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

环境准备

所有操作开始前，先确定hadoop版本已经装好。具体可以看我的另一篇博客
搭建hadoop3.x

mysql安装

先把安装包放到software文件夹，并解压到mysql-lib中

?

先处理一下环境，因为centos自带mariadb，会产生冲突，所以要先卸载

?

没什么问题了就可以安装了，一定要按顺序安装

?

安装到第5个时，如果centos是最小化安装的，那会报这个问题

? ?

然后再尝试安装就没问题了

?

清理历史残余文件

?

看到了mysql目录是/var/lib/mysql

?

初始化mysql

?

看下默认密码

?

密码是p;oK<M)<_8p/，复制一下，进入mysql

进入mysql

启动mysql服务

?

进入mysql

?

提示输入密码，输入刚刚复制的密码

成功进入mysql后，设置我们的mysql密码，这个自己记住哈~

?

接下来设置root用户的权限，允许任意ip连接，为后面的hive连接做准备

?

然后再尝试用更改后的密码登录一下，成功了就是配置好了。

安装Hive

到/home/centos/software目录下，解压apache-hive-3.1.2-bin.tar.gz到/home/centos/module/目录下面

?

进入module文件夹，把文件名改一下

?

配置环境变量

? ?

加载环境变量，并验证是否成功

?

解决日志Jar包冲突

hadoop和hive之间的log4j版本冲突，要把hive的lib文件夹中的jar包名字改一下，无法启用即可。就直接在文件名后加.bak即可。

?

hive元数据配置到mysql

将MySQL的JDBC驱动拷贝到Hive的lib目录下

?

看看是否拷贝成功

?

配置metastore到mysql

在$HIVE_HOME/conf目录下新建hive-site.xml文件，

?

有三个值需要你改一下

• 腾讯云内网ip
• mysql密码
• 本机hostname

?

把改好的内容粘进去后，保存退出

启动hive

初始化元数据库

登录mysql，创建hive元数据库

?

退出，初始化hive元数据库

?

再次进入mysql，检查一下，可以看到已经创建好了（有74张表）

?

创建一个启动脚本，不然每次写那么长让它后台启动实在太烦了。

?

添加如下内容

?

保存退出，给脚本加权限

?

现在来启动吧（启动前要确认hadoop是已启动，且运行正常的哦）

?

可以看到启动成功了，我们用脚本来看下状态

?

你会惊奇的发现，居然有一个运行异常，这是怎么回事？其实是因为它启动比较慢，不信你过了两分钟再看

?

hive jdbc访问

beeline

如果你不是用root来搭建的hadoop，那这里根据自己的设置更改

?

这样就是成功进入了，退出的话

?

hive命令行

?

这样就是成功进入了，退出的话是quit;接下来就可以玩hive啦！

历史记录

他俩的历史记录都在家目录中

?

可以到有一个.hivehistory文件和.beeline文件夹，历史记录会在你quit这个JDBC后写入。

hive运行日志配置

Hive的log默认存放在当前用户名下下，我们把hive本身的运行日志也放到这个logs里，方便以后查看。

（1）修改$HIVE_HOME/conf/hive-log4j.properties.template文件名称为hive-log4j.properties

?

（2）在hive-log4j.properties文件中修改log存放位置

?

hive启动jvm堆内存设置

新版本的hive启动的时候，默认申请的jvm堆内存大小为256M，jvm堆内存申请的太小，导致后期开启本地模式，执行复杂的sql时经常会报错：java.lang.OutOfMemoryError: Java heap space，因此最好提前调整一下HADOOP_HEAPSIZE这个参数。

?

将hive-env.sh其中的参数 export HADOOP_HEAPSIZE=1024的注释放开

做完以上所有配置，重启hive。

windows端连接hive

推荐dbeaver，连接前记得来到安全组，开放10000端口

具体配置步骤如下

然后

测试连接，等个1分钟左右基本上就可以成功了
后面就在Windows上好好玩hive吧~

到此这篇关于手把手教你在腾讯云上搭建hive3.1.2的方法的文章就介绍到这了,更多相关腾讯云上搭建hive3.1.2内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家！

原文链接：https://blog.csdn.net/axy_shelly/article/details/107087174