分布式标签_开源鸿蒙跨平台开发者社区

分布式

RISC-V网关，成为工业物联网分布式部署新主力

当前RISC-V网关已全面兼容Modbus、MQTT、OPC UA等主流物联网协议，适配4G/5G、以太网、串口、CAN等各类外设，Linux、RT-Thread、OpenHarmony等系统均已完美适配，完全能够满足工业采集、数据上云、边缘管控的全场景需求，从小众尝鲜变成了行业主流选型。成本优势，是RISC-V网关出圈的关键。无论是高温、潮湿、多干扰的工业车间，还是无人值守的户外光伏电站、水务管

 longxingiot
1天前

 181

 5

#risc-v #物联网 #分布式
分布式设备连接对端失败问题分析

本文记录了在OpenHarmony 6.1LTS版本上复现并解决音乐分布式流转功能连接失败问题的完整排查过程。问题表现为sink端未弹出设备连接确认弹窗，经过多轮分析发现：1）初始问题源于AAFwk框架能力服务连接失败（错误码2097153），导致系统弹窗服务无法启动；2）后续PIN码认证阶段因锁屏状态和JSON参数格式不匹配（应用侧传字符串而非键值对）导致流程中断。通过添加关键日志、对照流程图分

 六bring个六
2026-08-21 10:47:55

 232

 7

#分布式
【OpenHarmony】初识设备间互联互通的统一基础：分布式软总线

很久没有写出一篇能够分享出来的学习心得了，零零散散地写了好多，总是不太满意。今年8月份开始正式投入精力去学习open harmony，记得第一次接触open harmony的那一个星期，我导师（华哥）就跟我说：可以理解一下什么是软总线。总线的概念当然不是第一次接触，当"软总线"第一次出现在脑子里的时候，立马就联想到了计算机组成原理里的总线。再结合平常积累的知识，比如说鸿蒙OS的特征，计算机科学常用

 小小酥诶
2024-12-09 13:57:24

 2702

 30

#分布式 #开源 #鸿蒙 +1
分布式软总线认证模块架构与实现分析

本文详细分析了OpenHarmony分布式通信中的软总线认证模块架构。该模块位于foundation/communication/dsoftbus/core/authentication/目录下，基于HiChain安全认证框架实现设备间双向认证和会话密钥协商。核心组件包括：AuthManager负责认证会话管理，AuthSessionFsm实现4状态认证状态机，HiChain协议栈完成PAKE密钥

 六bring个六
2026-07-20 11:14:14

 355

 13

#分布式 #架构
分布式软总线能力位图机制设计

本文深入解析了OpenHarmony分布式软总线中的能力位图机制，该机制通过三套核心数据结构实现设备能力的发现与匹配：1）Manager层的g_capabilityList作为倒排索引管理订阅者；2）CoAP层的g_publishMgr聚合发布能力并驱动广播；3）g_subscribeMgr聚合订阅需求并控制扫描过滤。文章详细阐述了这三层结构的关系与协作流程，包括引用计数管理、能力聚合算法（如al

六bring个六
2026-07-15 09:00:00

 340

 8

#分布式
文件互传---发送文件完整流程

本文分析了OpenHarmony文件分享功能的实现链路，从JS接口到底层传输的全过程：调用链路： NAPI层解析JS参数并构造SendTask对象业务层进行三重参数校验（设备ID、文件列表、分享类型） IPC跨进程通信将任务转发给SA服务端核心传输流程：建立消息通道同步任务信息创建文件传输通道（支持P2P/WLAN双链路）通过SoftBus进行实际文件传输，支持分片和进度回调关键技术

 六bring个六
2026-07-08 14:30:53

 201

 6

#分布式 #p2p
open Harmony文件互传业务流程分析

本文分析了OpenHarmony系统文件互传的双端日志，展示了完整的文件传输流程。发送端通过控制通道（sessionId=1）建立连接并协商元数据，随后通过数据通道（sessionId=2）完成441KB图片文件的传输（耗时72ms）。接收端在文件校验通过后自动完成媒体入库。日志显示传输过程中出现两次认证失败（测试环境未及时确认导致），以及接收端屏幕锁定引发的DisableShare失败（已完成后

 六bring个六
2026-07-06 11:39:54

 199

 5

#网络 #p2p #分布式
open Harmony设备统一互联文件互传技术规范（一）

本文介绍了鸿蒙生态设备间文件互传的技术规范，重点阐述了设备发现、连接认证和文件传输的全流程。内容涵盖基于OpenHarmony 5.0系统的图库/文件管理器应用实现方案，详细解析了设备通过BLE广播与扫描的发现机制、基于PIN码的双向身份认证流程，以及分布式软总线建立消息、字节流和文件三种会话通道的技术实现。规范明确了从设备发现到文件传输的五个阶段，包括底层物理连接建立、会话管理、业务逻辑认证等关

 六bring个六
2026-07-02 15:13:22

 703

 28

#分布式 #p2p
分布式软总线核心代码分析（二）

本文分析了OpenHarmony分布式软总线5.1版本中"发现服务"的核心实现机制。发现服务通过DiscMgrInit初始化三个通信介质（BLE/CoAP/USB），建立发布服务链表（g_publishInfoList）、发现服务链表（g_discoveryInfoList）和16个能力匹配桶（g_capabilityList）。当设备被发现时，系统会根据设备能力位图与订阅者进

 六bring个六
2026-06-26 10:07:24

 176

 6

#分布式
分布式软总线核心代码分析（一）

本文详细分析了OpenHarmony分布式软总线系统（SoftBus）的服务发布与发现机制实现流程。系统通过IPC通信框架实现客户端与服务端的交互，核心流程包括：服务初始化阶段：通过InitSoftBusServer()依次加载配置、IPC通道、定时器、事件循环等基础模块，并按依赖顺序初始化连接管理、认证、发现、组网等核心服务。服务发布流程：客户端通过Proxy层序列化请求服务端Stub层

 六bring个六
2026-06-25 17:10:36

 358

 10

#分布式
openharmony分布式设备管理以及业务上下线流程

本文分析了OpenHarmony分布式设备管理框架的通信链路和工作流程。框架采用分层设计：应用层通过IPC调用DeviceManagerService服务，该服务包含AdvertiseManager（广播）、DiscoveryManager（发现）和PinHolder（配对）三大组件，通过SoftbusListener桥接底层DSoftBus软总线。系统启动时并行初始化软总线和设备管理服务，通过S

六bring个六
2026-06-20 14:31:59

 328

 5

#分布式
Flutter for OpenHarmony：Flutter 三方库 mysql_client — 高性能 MySQL 数据库直连实战（适配鸿蒙 HarmonyOS Next ohos）

开源鸿蒙跨平台社区推出mysql_client库，支持鸿蒙端应用通过纯Dart实现MySQL/MariaDB直连。该库采用MySQL二进制协议，提供完整的SQL执行、事务管理和预处理语句功能，特别适合工业网关等内网场景。文章详细介绍了连接建立、查询执行等核心API，并给出鸿蒙工控屏等典型应用场景示例。同时针对鸿蒙平台特性，提出网络超时处理、心跳机制等适配建议，强调在公网环境中应避免直接暴露数据库凭

 键盘鼓手苏苏
2026-02-23 23:42:46

 1314

 13

#数据库 #flutter #mysql +4
Flutter 鸿蒙跨平台分布式数据同步实战：多设备数据共享与离线缓存

本文介绍了基于Flutter和鸿蒙生态的跨平台分布式数据同步方案。通过整合flutter_distributed_data、flutter_secure_storage和mqtt_client三方库，实现了多设备间的数据共享与离线缓存功能。方案包含三个核心模块：1) 分布式数据模型与安全存储，使用flutter_secure_storage实现本地加密存储；2) 跨设备通信服务，基于MQTT协议构

 BettieHui
2026-05-08 22:42:10

 395

 3

#flutter #harmonyos #分布式
Hadoop集群资源分配与利用率优化深度解析

利用率优化检查清单checks = ["✓ 调度器选择是否匹配业务场景？（生产环境推荐容量调度器）","✓ 队列容量是否根据负载动态调整？","✓ 抢占机制是否启用以回收闲置资源？","✓ 每个节点的yarn.nodemanager.resource.memory-mb是否配置正确？","✓ Map/Reduce任务内存是否与物理内存匹配？（JVM堆内存=容器内存×75%）","✓ 并行度设置是否

 Seal^_^
2026-03-09 08:56:21

 1520

 9

#hadoop #大数据 #开发语言 +2
RabbitMQ入门指南三：RabbitMQ高级特性：搞定消息不丢、不堆、不延迟

本文摘要：文章围绕消息队列(MQ)常见问题展开，重点探讨了消息可靠投递的解决方案。从生产者确认机制（confirm/return回调）、消息持久化（交换机/队列/消息）到消费者确认模式（自动/手动/关闭ACK），系统性地构建了四重防护机制。特别介绍了RabbitMQ的Lazy Queue特性（消息直接存磁盘），并提供了SpringAMQP的配置示例，包括生产者的yml配置模板、ReturnCal

啥都不懂的小小白
2025-07-29 07:00:00

 839

 28

#rabbitmq #ruby #分布式
利用 RustFS + MLflow，打造 MLOps 平台的超详细教程

本文介绍了如何在本地使用Docker Compose构建MLflow机器学习实验管理平台。文章提供了完整的架构方案，包含MLflow Tracking Server、MySQL数据库作为backend store、RustFS作为artifact存储，并通过Nginx Proxy实现访问控制。详细说明了快速启动步骤，包括环境配置、Basic认证设置和Python客户端使用方法。文章还深入解析了Do

rustfs
2025-12-29 15:17:37

 1032

 25

#云原生 #rust #docker +2
分布式环境下：Ruby 定时任务基于 Whenever 的动态扩缩容配置

实际部署时需配合 Kubernetes Readiness Probe 确保节点注册完成后再接收任务。

qrewxqdw
2025-10-27 14:20:17

 345

 3

#分布式 #ruby #开发语言
hadoop集群的常用命令

这些命令是与 HDFS 进行交互的基础，涵盖了文件操作、系统管理、权限控制等多个方面。通过这些命令，用户可以有效地管理和操作存储在 Hadoop 集群中的数据。这些命令会分别启动 Hadoop 的 DFS 和 YARN。该命令会递归地列出 HDFS 根目录下的所有文件和目录。将 HDFS 中的多个文件合并后下载到本地。查看特定 Hadoop 命令的帮助信息。修改 HDFS 文件的权限和所有者。查看

 帅气而伟大
2025-03-31 19:38:41

 176

 9

#hadoop #大数据 #分布式
RabbitMQ: 消息发送失败的重试机制设计与实现

消息可靠投递解决方案本文提出了一套完整的RabbitMQ消息可靠投递机制，通过持久化存储、回调处理和定时重试三重保障，确保分布式系统中的消息不丢失。核心方案包括：消息持久化：发送前先将消息存入数据库，生成唯一ID记录关键信息双重回调机制： ConfirmCallback确认RabbitMQ接收状态 ReturnCallback处理路由失败情况定时补偿：定期检查未成功消息实现指数退避重试

 Johnny丶me
2025-12-20 14:00:00

 1494

 8

#rabbitmq #分布式
Spark集群搭建之Yarn模式

进入/opt/module/spart-yarn/sbin，运行： ./start-all.sh 和 ./start-history-server.sh。在输入 echo $PATH回车，出现spark-local/bin:/opt/module/spark-local/sbin说明我们已经配置好spark的环境变。4.修改spark配置。

懒惰的橘猫
2025-04-23 15:59:11

 1252

 8

#spark #大数据 #分布式
深入理解微服务与容器化的关系及应用场景

摘要：微服务架构与容器化技术是现代应用开发的核心趋势。微服务通过拆分应用为独立、松耦合的小型服务，实现灵活部署和高可用性；容器化则通过轻量级虚拟化保障环境一致性，支持快速部署与扩展。二者结合能显著提升解耦能力、自动化弹性扩展和持续交付效率，适用于电商、金融、媒体等高并发场景。然而，微服务治理与容器管理的复杂性仍是挑战。随着编排工具（如Kubernetes）的成熟，微服务与容器化将继续推动高效、敏

 2501_94114950
2025-11-17 15:40:28

 1096

 11

#java #微服务 #分布式
量化私募招前端工程师，3-5年经验核心技能1. 前端基础：· 精通 HTML5、CSS3、JavaScript 等前端基础技术。· 熟练掌握 Vue.js 等主流前端框架，并有实际项目开发经验

熟悉 Python，了解 Django、Flask、FastAPI 等后端 Web 框架。· 具备 UI 设计经验，熟练使用 Photoshop、Adobe XD 等设计工具。· 了解前端工程化工具（如 Webpack、Gulp），具备构建和优化前端项目的能力。· 精通 HTML5、CSS3、JavaScript 等前端基础技术。· 了解 Gunicorn、Nginx 等服务器的部署、配置与优化。

Slam_Pan
2025-01-16 17:17:01

 358

 3

#开发语言 #云原生 #分布式 +2
分布式机器学习框架选型：MLlib、TensorFlow On YARN、Horovod 对比

在分布式机器学习中，框架选型需综合考虑任务类型、性能、易用性、资源管理等因素。以下是对 MLlib、TensorFlow On YARN 和 Horovod 的详细对比，帮助您根据实际需求做出决策。分析基于开源框架的公开文档和社区实践，确保真实可靠。通过以上对比，您可根据数据规模、硬件环境和任务类型做出优化选择。实践中，结合基准测试（如训练时间、资源利用率）进一步验证。以下从核心维度进行逐步分析，

2501_93892493
2025-11-01 22:20:11

 465

 3

#机器学习 #分布式 #mllib
《RabbitMQ高级篇》

本文介绍了RabbitMQ在生产者和消费者端的可靠性保障措施。生产者方面，通过配置重连机制、确认机制（PublisherConfirm和PublisherReturn）确保消息投递；消费者方面，采用确认机制、失败重试策略及异常消息处理机制保证消费可靠性。同时阐述了消息持久化、LazyQueue、幂等性处理等关键技术，并介绍了利用死信交换机和延迟插件实现延迟消息的方案。最后针对订单超时场景，提出了拆

 fīɡЙtīиɡ ℡
2026-02-16 20:26:18

 726

 13

#rabbitmq #分布式
【Docker】Docker Compose方式搭建分布式协调服务(Zookeeper)集群

【代码】【Docker】Docker Compose方式搭建分布式协调服务(Zookeeper)集群。

poolsnowhui
2025-05-18 12:18:56

 1148

 4

#分布式 #docker #zookeeper
【从0到1学RabbitMQ】RabbitMQ高级篇

每个RabbitTemplate只能配置一个ReturnCallback，因此我们可以在配置类中统一设置。我们在publisher模块定义一个配置类：我们在发送者中定义@Slf4j@Overridelog.error("触发return callback,");});由于每个消息发送时的处理逻辑不一定相同，因此ConfirmCallback需要在每次发消息时定义。

shenqibaobao
2025-04-10 14:09:11

 983

 22

#rabbitmq #分布式
kafka解决了什么问题?mmap 和sendfile

程序读取文件，调用内核的read(fd 8)方法，由内核替代程序读取文件描述符fd 8，程序就进入了所谓的io阻塞状态，即由用户态切换到内核态，由内核调用驱动再去读取这个文件，内核驱动将文件数据读取到内核空间，内核再拷贝到用户空间给程序使用。这个空间和磁盘文件做了MMAP映射，从这个空间中读取文件相当于从磁盘中读取文件，即文件的数据是直接放到这个共享区域里面的，程序可以不通过磁盘读取文件，而是直接

 稚辉君.MCA.P9.JAVA
2025-10-08 09:51:51

 521

 5

#kafka #java #kubernetes +2
基于Hadoop大数据的微博舆情分析可视化系统源码设计与文档

基于 Hadoop 大数据的微博舆情分析系统，直击传统舆情分析 “海量数据难处理、实时性差、分析维度浅” 的核心痛点，依托 Hadoop 生态的分布式存储（HDFS）与计算（MapReduce/YARN）能力，构建 “全量数据采集 + 实时情感分析 + 多维度舆情洞察” 的微博舆情分析体系。传统舆情分析多依赖抽样数据，难以覆盖微博亿级用户生成的动态内容，且情感判断易受主观影响，无法快速捕捉热点舆情

 QQ_2079523559
2025-12-09 15:47:15

 824

 13

#大数据 #hadoop #分布式
基于 K8s 的分布式语音识别服务：容器化部署与管理实践

注：实际部署需根据业务规模调整资源配置，建议使用Argo CD实现GitOps持续部署，并通过Kube-bench定期进行安全审计。

2501_93877833
2025-10-25 13:53:19

 402

 3

#kubernetes #分布式 #语音识别
【Spark】Linux（CentOS7）下安装Spark教程（包括Local、StandAlone、Spark On Yarn、Spark On Hive模式）

本文详细介绍了Spark在Local和StandAlone两种模式下的安装配置过程。实验环境基于三台CentOS 7节点，依赖Hadoop 3.3、MySQL 8和JDK 8。Local模式安装包括解压Spark包、创建Python虚拟环境、配置环境变量及测试PySpark运行。StandAlone模式扩展为集群部署，详细说明了多节点环境配置、Spark参数调优、HDFS日志目录创建及历史服务器设

 飞Link
2025-12-31 09:59:06

 3569

 8

#spark #linux #hive +2
【分布式微服务基础架构搭建（平台底座期）】

通过Nacos的Docker镜像，在Docker容器中部署并使用Nacos。执行：docker-compose up -d。访问：http://ip:8848/nacos。账号：nacos / nacos。

M11150721
2026-02-05 12:01:48

 74

 2

#分布式 #微服务 #架构
从零入门 Hadoop：分布式存储与计算实战指南

摘要：Hadoop作为大数据处理的基石，通过HDFS分布式存储和MapReduce并行计算模型解决了传统数据库的存储、计算和容错瓶颈。文章详细解析了Hadoop核心架构（HDFS、MapReduce、YARN），提供了伪分布式环境搭建流程，包括Java安装、SSH配置和Hadoop安装步骤。同时介绍了HDFS存储原理、常用命令操作，并通过WordCount示例演示MapReduce编程模型。最后探

 想吃大米饭366
2026-01-12 13:56:39

 756

 11

#分布式 #hadoop #大数据
Longhorn 实战：K8s 分布式块存储部署与使用

metadata:numberOfReplicas: "3" # 副本数staleReplicaTimeout: "30" # 副本超时(分钟)

2501_93879173
2025-11-01 21:50:52

 442

 5

#kubernetes #分布式 #容器
dockerfile部署rabbitmq并安装延时插件

docker-compose的下载地址。docker-compose.yml内容。Dockfile内容。

Arhi
2025-06-24 10:47:32

 263

 2

#rabbitmq #ruby #分布式
微服务监控体系：Prometheus + Grafana 集成

本文介绍了基于Prometheus和Grafana的微服务监控体系架构设计，包含完整的监控方案和实战经验。主要内容包括：四层监控体系设计（基础设施、应用性能、业务指标、用户体验）、Prometheus的Pull模型采集机制和动态服务发现配置、与Spring Boot应用的集成方案、Grafana可视化仪表板设计，以及告警规则设置。文章重点解析了Prometheus的核心配置方法，展示了如何通过Ku

一只当过兵的程序猿
2025-11-14 16:25:58

 1138

 25

#微服务 #prometheus #grafana +2
Spark on K8s 在vivo大数据平台的混部实战

作者：vivo 互联网大数据团队- Qin Yehai在离线混部可以提高整体的资源利用率，不过离线Spark任务部署到混部容器集群需要做一定的改造，本文将从在离线混部中的离线任务的角度，讲述离线任务是如何进行容器化、平台上的离线任务如何平滑地提交到混部集群、离线任务在混部集群中如何调度的完整实现以及过程中的问题解决。

weixin_32557949
2025-05-19 12:25:53

 110

#大数据 #spark #kubernetes +2
如何搭建spark yarn 模式的集群集群。

配置调优：根据服务器资源调整yarn.nodemanager.resource.memory-mb （YARN 内存）和 Spark 任务参数（如--executor-memory ）。-hadoop-env.sh ：指定 JDK 路径（如export JAVA_HOME=/usr/java/jdk1.8.0_301 ）。echo "export SPARK_MASTER_IP=主节点IP" >>

Wessys
2025-05-13 14:33:37

 437

 4

#spark #大数据 #分布式
实验一：统计字符个数

HDFS NameNode内部通常端口HDFS NameNode对用户的查询端口9870Yarn查看任务进行情况的端口8088历史服务器查询端口19888。

Txy101
2025-06-16 12:17:35

 699

 11

#hadoop #大数据 #分布式
09-部署运维指南

本章将详细介绍Mall-Swarm微服务商城系统的部署和运维方案，包括Docker容器化部署、Kubernetes集群部署、监控告警、日志管理、性能优化等内容。通过完善的部署运维体系，确保系统的高可用性、可扩展性和可维护性。

80年代的爪哇
2025-08-20 12:07:46

 122

#运维 #java #分布式 +4
spark集群部署-SPARK ON YARN

master角色由yarn的resourcemanager担任（集群资源管家）。worker角色由nodemanager担任（单机资源管家）。driver运行在yarn容器内或者提交任务的客户端过程内。干活的executor运行在yarn提供的容器内。

m0_74230025
2025-02-07 18:10:55

 485

 11

#spark #大数据 #分布式
配置hadoop集群-启动集群

（1）如果集群是第一次启动，需要在hadoop100节点（指定为namenode的节点）格式化NameNode（注意：格式化NameNode，会产生新的集群id）（3）在配置了ResourceManager的节点（hadoop101）启动YARN。在环境变量中添加/etc/profile.d/my_env.sh。（a）浏览器中输入：http://hadoop100:9870。（1）Web端查看HD

Wessys
2025-05-13 15:22:54

 272

 1

#hadoop #大数据 #分布式
spark,所用几个网页

2. MapReduce：计算。1. HDFS：存储。3. YARN：调度。

春日彦
2025-05-12 11:12:19

 126

 3

#spark #大数据 #分布式
Java 分布式锁实战：秒杀场景下的高并发数据一致性保障

高并发秒杀：首选 Redis 分布式锁（Redisson），结合乐观锁 + MQ 提升性能；数据一致性要求高：选择 ZooKeeper 或 etcd 分布式锁；云原生环境：优先使用 etcd（Kubernetes 原生支持）；低并发场景：可使用数据库乐观锁，降低部署复杂度。最小锁粒度：尽量缩小锁的范围，避免粗粒度锁；最短锁持有时间：业务逻辑尽量精简，减少锁占用时间；高可用设计：锁服务集群部署，避免

 听风吟丶
2025-12-01 10:04:33

 966

 28

#java #分布式 #开发语言
高效实现！分布式链路追踪：TraceIdFilter + MDC + Skywalking

发起服务间调用时，需要将 MDC 中的 traceId 传递到被调用服务。对象，在原生 Runnable 对象执行前，将父线程的 MDC 设置到子线程中，在原生 Runnable 对象执行结束后，清除子线程 MDC 中的内容。在子线程执行任务前，将父线程的 MDC 内容设置到子线程的 MDC 中；会解析用户配置的 pattern 表达式，得到 pattern 中需要动态解析的占位符，比如。包中，M

IT_1024
2026-03-03 14:47:07

 402

 5

#分布式 #skywalking
【多智能体系统的自适应路径规划】分布式无人机系统的自适应多智能体路径规划研究（Matlab代码实现）

本文提出了一种新的学习算法——合作与几何学习算法（Cooperative and Geometric Learning Algorithm, CGLA），用于解决无人机（Unmanned Aerial Vehicles, UAVs）路径规划中的机动性、碰撞规避和信息共享问题。CGLA的主要贡献包括以下三个方面：（1）CGLA是基于多无人机合作的路径规划算法。技术上，CGLA引入了一种新定义的个体代

 yyds_2201
2025-03-08 12:44:40

 755

 29

#分布式 #无人机 #matlab