(CMP)卸载kerberos后测试过程（参照CDH6.3 CDP7.1 CDP7.3）

Cloud Data AI Management Platform v7.3【简称:CMP】KylinOS

执行时间：2025年3月19日星期三上午9点30分后

• hive测试

用户	命令	结果	说明
bdpuser	hive -e "show databases;"	✔	10.73.130.77等非75、82节点

命令记录：

[root@***09 ~]# su bdpuser

[bdpuser@***09 root]$ hive -e "select * from dl_osdata.ca17_classroom_type;"

• impala的kudu表的测试

用户	命令	结果	说明
bdpuser	impala-shell -q "select * from dl_osdata.ca17_train_brief_kudu;"	✔	10.73.130.73等非75、82节点，注意启用sentry后root没有权限

命令记录：

[root@***05 ~]# su bdpuser

[bdpuser@***05 root]$ impala-shell -q "select * from dl_osdata.ca17_train_brief_kudu;"

• Hdfs

用户	命令	结果	说明
bdpuser	hdfs dfs -ls /tmp	✔

命令记录：

[root@***01 ~]# hdfs dfs -ls /tmp

[root@***01 ~]# echo aaa > /tmp/test.txt

[root@***01 ~]# hdfs dfs -put /tmp/test.txt /tmp

[root@***01 ~]# hdfs dfs -get /tmp/test.txt

[root@***01 ~]# cat test.txt

aaa

[root@***01 ~]# hdfs dfs -ls /tmp/test.txt

-rw-r--r--   3 root supergroup          4 2025-02-19 13:32 /tmp/test.txt

• Spark测试

用户	命令	结果	说明
bdpuser	spark-submit	✔	除75、82的机器
参数	spark://***15.caimp.com:7077

命令记录：

[root@***02 ~]# su bdpuser

[bdpuser@***02 root]$ spark-submit --class org.apache.spark.examples.SparkPi --master spark://***15.caimp.com:7077 --driver-memory 2G /opt/cloudera/parcels/CDH/jars/spark-examples_2.11-2.4.0-cdh6.3.2.jar

计算出：Pi is roughly 3.1364356821784107

• Hbase测试

用户	命令	结果	说明
bdpuser	hbase shell	✔	除75、82的机器

命令记录：

[root@***08 ~]# su bdpuser

[bdpuser@***08 root]$ hbase shell

hbase(main):001:0> list

TABLE                                                                                                                                                                                                

cdh_hbase_test                                                                                                                                                                                       

cdh_hbase_test1                                                                                                                                                                                      

cdh_hbase_testbdpuser                                                                                                                                                                                

cdh_hbaseshell_test                                                                                                                                                                                  

cdh_test_query                                                                                                                                                                                       

5 row(s)

Took 0.3415 seconds                                                                                                                                                                                  

=> ["cdh_hbase_test", "cdh_hbase_test1", "cdh_hbase_testbdpuser", "cdh_hbaseshell_test", "cdh_test_query"]

hbase(main):003:0> get 'cdh_test_query','223456'

COLUMN                                             CELL                                                                                                                                              

 result:data                                       timestamp=1729735565114, value=afdsjafklsgjljiower                                                                                                

1 row(s)

Took 0.1704 seconds   

• Hive2的beeline

用户	命令	结果	说明
bdpuser	beeline -u	✔	除75、82的机器
参数	jdbc:hive2://***14.caimp.com:10000/default;	✔
参数	jdbc:hive2://***07.caimp.com:10000/default;	✔

命令记录：

[root@***08 ~]# su bdpuser

[bdpuser@***08 root]$ beeline -u 'jdbc:hive2://***14.caimp.com:10000/default;' -n hive

0: jdbc:hive2://***14.caimp.com:10000/d> show databases;

[bdpuser@***08 root]$ beeline -u 'jdbc:hive2://***07.caimp.com:10000/default;' -n hive

0: jdbc:hive2://***07.caimp.com:10000/d> show databases;

• sentry授权单表及相关操作方法

一、目录权限验证：

1.HDFS上建目录dldata

2.bdpuser帐号能在dldata下有所有权限

操作方法：

登录datanode节点，除7、14以外的节点

[bdpuser@***01 root]# hdfs dfs -ls /

[bdpuser@***01 root]# hdfs dfs -mkdir -p /dldata

[bdpuser@***01 root]# hdfs dfs -chown bdpuser:hive /dldata

[bdpuser@***01 root]# hdfs storagepolicies -setStoragePolicy -path /dldata -policy One_SSD

# 设置完毕

[bdpuser@***01 root]# hdfs dfs -chmod 777 /dldata

# hdfs dfs -chown bdpuser:hive /dldata

• 表权限验证：

以下是基于role角色对角色赋予权限，然后将用户加入到不同角色中。

1. 在Hive集群所有节点创建两个用户bdpuser、bdpread：

：root的操作系统ssh命令

useradd bdpread                             #（只read）

passwd bdpread                              #密码全部是OsUser@1018

useradd bdpuser                              #（write）全权利

passwd bdpuser                              #密码是OsUser@1018

gpasswd -a bdpread hive                       #归于操作系统hive组

gpasswd -a bdpuser hive

1. 在20号机器
2. 使用Sentry管理员用户hive通过beeline客户端连接HiveServer2，（7或14节点）然后操作：

# beeline -u 'jdbc:hive2://***14.caimp.com:10000/default;' -n hive

#登录正常如下：

0: jdbc:hive2://***14.caimp.com:10000/d> 

# 显示数据库命令：

0: jdbc:hive2://***14.caimp.com:10000/d> show databases;

或：使用7号主机

# beeline -u 'jdbc:hive2://***07.caimp.com:10000/default;' -n hive

0: jdbc:hive2://***07.caimp.com:10000/d> show databases;   #使用7号主机时

1. 创建角色

创建Role（reader_role,writer_role）：注意：admin_role不能动，不能删除

create role reader_role;

create role writer_role;

将role授予用户组：

GRANT ROLE reader_role TO GROUP bdpread;

GRANT ROLE writer_role TO GROUP bdpuser;

可以尝试授予数据库，但是HUE不接受此结果，可用在beeline查看设置结果

为role赋予privilege：

GRANT select ON DATABASE *_test TO ROLE reader_role;

GRANT insert ON DATABASE *_test TO ROLE writer_role;

查看所有role（管理员）

SHOW ROLES;

查看指定用户组的role（管理员）

SHOW ROLE GRANT GROUP bdpread;

SHOW ROLE GRANT GROUP bdpuser;

查看指定ROLE的具体权限（管理员）

SHOW GRANT ROLE writer_role;

SHOW GRANT ROLE reader_role;

1. hive命令，请谨慎操作

0: jdbc:hive2://***14.caimp.com:10000/d> SHOW ROLES;

注意已分配的权限

Hive命令 创建、删除数据库

创建数据库

0: jdbc:hive2://***14.caimp.com:10000/d>CREATE DATABASE cdh_test1111;

### DROP DATABASE IF EXISTS cdh_test1111 CASCADE;  # 请谨慎操作，不提示就删了

1. WebUI操作

HUE登录名：hive密码同admin（保留），hive用户就是HUE WEBUI里面的管理员

1.hue里建hive库名dl_osdata，下面建三张测试表，表数据存储路径为/dldata/dl_osdata/test/表名/文件

查询里输入：

CREATE DATABASE dl_osdata;

USE dl_osdata;

CREATE EXTERNAL TABLE dl_osdata.my_test1

(

    id INT,

    name STRING,

    value DOUBLE

)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ','

LOCATION '/dldata/dl_osdata/test/my_test1/my_test1_00001';

插入数据

INSERT INTO TABLE dl_osdata.my_test1 VALUES(1, 'Alice',200.33);

INSERT INTO TABLE dl_osdata.my_test1 VALUES(2, '2Alice',2200.33);

INSERT INTO TABLE dl_osdata.my_test1 VALUES(3, '3Alice',3200.33);

### 其他以此类推，并要修改LOCATION 的具体路径

1. 3.赋权bdpuser帐号能访问dl_osdata下所有的库表权限（增删改）
2. 4.赋权bdpuser帐号访问my_test某一张表

注意在：HUE里面的hive用户，实际是hive集群的HUE管理员，只能修改密码，不能删除，，不能修改用户名，不建议取消权限、或者取消权限是也要格外小心。

用hive登录HUE WEBUI进行设置，账户hive、临时密码同HUE admin的密码

1. 创建用户bdpuser和组bdpuser， 临时密码同于HUE admin的密码

全选，必须有hive选项，其他少选，没有测试，请谨慎，但都可随时添加。

1. 找到HUE的安全选项

点选“安全”选项后，按照下图进行Roles、“组”选“BDPUSER”，右边出现“ writer_role”

“ writer_role”后点击左边的三角

点最下面的“+”

分别是库、存储路径、具体权限，其中库表权限为：ALL、CREATE、REFRESH、INSERT、SELECT

还有其他操作

例如进到“安全”就点右边“+”号，会出现如下图：先选择“组”，再选“名称”，再点下面的“+”

系统中涉及的“server=server1 ”不要动，这是hive集群里面的一个参数

用hive登录HUE WEBUI进行设置后的结果如下图：

现在注销hive后，用bdpuser登录，就可以具体处理数据了

具体测试：测试不能select的效果

用bdpuser登录，初始密码同HUE的admin、hive的密码

my_test.test1不能查询

my_test.test2是可以查询

my_test.test3不能查询

• impala的jdbc测试

用户	命令	结果	说明
bdpuser	impala-shell -q "select * from dl_osdata.ca17_train_brief_kudu;"	✔	非75、82节点，注意启用sentry后root没有权限
参数Driver	com.cloudera.impala.jdbc41.Driver	✔
链接jdbc:impala	jdbc:impala://***19.caimp.com:21050	✔
扩充权限	;UseSasl=0;AuthMech=3;UID=impala;	✔

命令记录：

[root@***05 ~]# su bdpuser

[bdpuser@***05 root]$ beeline -d "com.cloudera.impala.jdbc41.Driver" -u "jdbc:impala://***19.caimp.com:21050/default" --isolation=default -n bdpuser

[bdpuser@***05 root]$ beeline -d "com.cloudera.impala.jdbc41.Driver" -u "jdbc:impala://***19.caimp.com:21050/default;UseSasl=0;AuthMech=3;UID=impala;" --isolation=default -n bdpuser

0: jdbc:impala://***19.caimp.com:21050/> select * from dl_osdata.ca17_train_brief_kudu;

0: jdbc:impala://***19.caimp.com:21050/> select * from dl_osdata.ca17_classroom_type;