ITeye博客

kingding的博客

kingding · 共 86 篇文章

安装配置部署HDP集群进行到confirm hosts时出现注册失败的解决方法

注意检查ambari-server和ambari-agent两个日志文件 直接参考 https://community.hortonworks.com/questions/121978/openssl-compatibility.html?childToView=138080#answer-138080 在部署集群时遇到Host checks were skipped on 4 hosts that failed to register. 进度条全部failed。 使用如下命令查看日志,并未发现有报错 cat /var/log/ambari-server/ambari-server.log …

2020-07-15 10:41 · AMBARI · 评论(0)

SAP汇率表TCURR-GDATU时间列转换成正常日期格式

SELECT to_date(99999999-gdatu,'yyyymmdd') FROM tcurr 或 SELECT 99999999-gdatu FROM tcurr 后再进行格式转换

2020-04-20 23:36 · SAP · 评论(0)

KYLIN使用注意问题

1.KYLIN 构建cube 第四步报错 引起原因:维度表不能够为分桶事务表,也就是说维度表不能直接通过insert values()插入数据,必须通过临时表间接插入

2020-04-07 18:32 · KYLIN · 评论(0)

Hive JDBC连接Tez(AM)容器长期不释放问题的解决方法

问题 有这样一个问题是很常见的:如果我们的Hive使用默认使用Tez作为执行引擎,当我们使用IDE通过Hive JDBC连接时,会出现在一个很“有趣”的想象:即如果我们不断开这个JDBC连接,则在Yarn上会持续有有一个Tez的AM容器持续存在,只有当端开JDBC连接时,这个容器才会被释放。关于Tez在Yarn的资源布局,可参考这篇文章:https://zh.hortonworks.com/blog/introducing-tez-sessions/ ,其中一张直观的图如下: 当团队拥有一个资源较为充裕的集群时,这不会是一个问题,并且维持这样一个Tez的AM容器是有好处的,好处就是:避免每次…

2020-04-07 14:16 · TEZ · 评论(0)

Hive JDBC连接Tez(AM)容器长期不释放问题的解决方法

问题 有这样一个问题是很常见的:如果我们的Hive使用默认使用Tez作为执行引擎,当我们使用IDE通过Hive JDBC连接时,会出现在一个很“有趣”的想象:即如果我们不断开这个JDBC连接,则在Yarn上会持续有有一个Tez的AM容器持续存在,只有当端开JDBC连接时,这个容器才会被释放。关于Tez在Yarn的资源布局,可参考这篇文章:https://zh.hortonworks.com/blog/introducing-tez-sessions/ ,其中一张直观的图如下: 当团队拥有一个资源较为充裕的集群时,这不会是一个问题,并且维持这样一个Tez的AM容器是有好处的,好处就是:避免每次…

2019-10-11 12:45 · 评论(0)

hive 修改分桶字段

alter table bd_corp clustered by(hq_pk_corp) into 4 buckets;

2019-10-09 13:16 · HIVE · 评论(0)

HIVE insert 中文乱码

Ambari的hive组件插入中文,存在乱码: 最初怀疑是编码问题,试了各种编码无效,后来发现ambari安装的hive组件是1.2.*版本的。 然后下载了hive 1.2.*和hive 2.1.*单机模式安装进行了测试,发现确实1.2.*版本存在乱码,而2.1版本的正常; 解决办法:使用hive2,但ambari中默认没有这个组件服务(默认使用hive1),无法安装。 后来发现hive2本身随着hive1的安装已经安装了,开启hive配置中的Interactive Query功能即可(同时查询性能提升) 2.5之前的版本个人设置如下参数,仅供参考(之后的一般不需要配置): In-Memor…

2019-09-30 11:00 · HIVE · 评论(0)

HIVE 中文乱码

1、进入数据库 Metastore 中执行以下 5 条 SQL 语句 #修改表字段注解和表注解 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; #修改分区字段注解 alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character…

2019-09-27 21:14 · HIVE · 评论(0)

kettle 无法使用依赖包

安装相关依赖库 # yum -y install epel-release # yum -y install webkitgtk 其中,# yum -y install webkitgtk可能会报没有可用的包,此时在kettle中点击右上角的connect会报错。那么下载此rpm包后,使用rpm -ivh web*.rpm 就可以了。 webkitgtk-2.4.9-3.el7.nux.x86_64.rpm 包在附件中 # yum -y install redhat-lsb

2019-09-08 15:21 · kettle · 评论(0)

kettle资源库、运行方式与日志

一、kettle资源库 资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中。 资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。 1.ketle资源库元数据 • 资源库 资源库包括文件资源库、数据库资源库 Kettle 4.0 以后资源库类型可以插件扩展 • XML 文件 .ktr 转换文件的XML的根节点必须是 <transformation> . kjb 作业XML的根节点是<job> 2.kettle资源库类型 数据库资源库 : • 把 Kettle 的元数据串行化到数据库中,如 R_TRANSFORMAT…

2019-08-20 15:43 · kettle · 评论(0)

hive 配置自定义用户安全认证

HiveServer2提供了JDBC链接操作Hive的功能,非常实用,但如果在使用HiveServer2时候,不注意安全控制,将非常危险,因为任何人都可以作为超级用户来操作Hive及HDFS数据。 比如:在配置HiveServer2的时候,hive.server2.authentication=NONE,表示没有用户认证。 使用beeline,模拟成超级用户hadoop,成功连接到HiveServer2. 创建数据库lxw1234; 0: jdbc:hive2://localhost:10000> create database lxw1234; No rows affected (0.15…

2019-08-13 11:12 · HIVE · 评论(0)

HIVE元数据中文乱码

#修改表字段注解和表注解 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; #修改分区字段注解 alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ; alter table PARTITION_K…

2019-08-09 01:08 · HIVE · 评论(0)

HIVE 创建索引

4.索引的建立与使用 语法如下: CREATE INDEX index_name ON TABLE base_table_name (col_name, ...) AS 'index.handler.class.name' [WITH DEFERRED REBUILD] [IDXPROPERTIES (property_name=property_value, ...)] [IN TABLE index_table_name] [PARTITIONED BY (col_name, ...)] [ [ ROW FORMAT ...] STORED AS ... | STORED BY ... …

2019-08-08 10:41 · HIVE · 评论(0)

yarn资源调度

yarn有一下三种资源调度策略 1.FIFO 先进先出策略,某一时间段只有有一个job占用资源,后面的job要等待前面的job结束才可以获取资源 2.capacity scheduler 把资源按队列划分,在job执行的时候,指定资源队列,队列之间是隔离的,但是队列内部是FIFO机制 3.fair scheduler 当job1在执行的时候,job2进来后,可以从job1的资源队列获取一定的资源执行jobs2,不需要等待。 org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler 来源…

2019-08-01 11:22 · YARN · 评论(0)

idea打包sbt项目

转载:https://blog.csdn.net/coder__cs/article/details/79344839 前提条件是创建好了wordcount项目,可以参考Scala官方IDE教程 Getting Started with Scala in IntelliJ Building a Scala Project with IntelliJ and sbt Spark Quick Start https://spark.apache.org/docs/latest/quick-start.html#self-contained-applications 我们需要做的是打包项目为jar…

2019-06-19 00:04 · idea · 评论(0)