登录社区云，与社区用户共同成长
邀请您加入社区
Flink的Delegation Token（DT）机制是一种短/中期认证令牌，解决了三大问题：避免分发长期凭证、减轻KDC压力、明确权限边界。其架构由JobManager负责生成和更新Token，TaskManager使用Token连接外部服务。DT具有可续期周期和最长生命周期，Flink采用定期重建而非续期策略，兼容不支持续期的服务并摆脱对YARN的依赖。生产环境中需注意配置管理、插件冲突等问
Flink采用了子优先的类加载策略来加载用户代码，通过ChildFirstClassLoader实现依赖隔离。关键机制包括：1) 优先在用户JAR包中查找类；2) 通过alwaysParentFirstPatterns保护核心类不被覆盖；3) 提供ParentFirstClassLoader作为备选方案。MutableURLClassLoader支持动态添加URL，FlinkUserCodeCla
Hadoop集群出现DirectBuffer内存不足报错，导致Dinky提交Flink任务失败。错误发生在Dinky服务进程通过Hadoop RPC连接YARN ResourceManager时，因DirectMemory耗尽而抛出java.lang.OutOfMemoryError。该问题源于Hadoop RPC使用DirectByteBuffer进行网络I/O，而默认DirectMemory大
遇到具体问题时，可按"现象定位→日志分析→方案验证"的流程快速排障。Queue's AM limit exceeded → 调大yarn.scheduler.capacity..maximum-am-resource-percent。日志路径：${FLINK_HOME}/log/{USER}-client-*.log。调试利器：export JVM_ARGS="-Dlog4j.debug=true
openEuler24.03 LTS下安装Flink，详细介绍Flink的三种安装模式：Local模式、Standalone模式、YARN模式。
jobManagerlog搜索：job url：替换。
摘要： Cloudera CDP7.3（国产CMP鲲鹏版）为银行五大核心平台（核心系统、渠道平台、风控平台、数据中台、开放银行）提供统一数据湖仓与治理方案。通过CDC、实时流处理（Kafka/Flink）及批量ETL实现多源数据安全入湖，依托Iceberg表格式、Spark/Flink计算引擎及CML特征服务支撑智能风控、客户洞察等场景。方案强调金融级合规，通过Ranger权限控制、Atlas血缘
注意在：HUE里面的hive用户，实际是hive集群的HUE管理员，只能修改密码，不能删除，，不能修改用户名，不建议取消权限、或者取消权限是也要格外小心。1.hue里建hive库名dl_osdata，下面建三张测试表，表数据存储路径为/dldata/dl_osdata/test/表名/文件。例如进到“安全”就点右边“+”号，会出现如下图：先选择“组”，再选“名称”，再点下面的“+”全选，必须有hi
本文详细介绍了在国产麒麟aarch64系统上安装Cloudera CDP 7.3和CMP v7.13的完整流程。主要内容包括：1）安装前的准备工作，如关闭防火墙、设置主机名、互信配置等；2）关键组件安装步骤，包括Python 3.9.14、PostgreSQL、MySQL 8.0.39等；3）Cloudera Manager的安装与配置；4）通过WEBUI进行集群设置和服务安装。文档还提供了详细的
2025年数据中台BI架构演进建议：Hadoop生态组件（Hive、Impala、Spark、Flink）将从"前台查询引擎"转型为"后台数据服务"。Hive定位历史数据仓库，Spark作为通用计算引擎构建语义层，Flink成为实时BI核心组件，Impala仅适用于私有化高性能场景。建议企业迁移至CMP7.13平台，实现与AI增强型BI工具（支持NLQ、实时
摘要：过去十年，Hadoop作为大数据核心引擎曾引发技术狂热，但其"万能底座"的承诺在现实中暴露出诸多泡沫。技术层面，数据湖沦为沼泽、批处理无法满足实时需求、存算耦合导致资源浪费；经济层面，开源不等于低成本，人力运维成本远超预期；组织层面，IT与业务脱节，数据分析未能真正普及；生态层面，组件割裂难成体系；时代层面，AI浪潮下Hadoop无法满足新需求。如今企业正转向云原生架构和
