关 键 词 ：云原生/云计算/Kubernetes/Harbor/Redis/jemalloc/国产化

一、背景: 为什么要在ARM64上部署Harbor

最近在一套ARM64 鲲鹏920 CPU服务器上面部署Harbor，用途主要是为了支持国产化以及信创环境。

官方harbor 提供有离线安装包，但默认里面镜像是x86的，没有arm64的，所以先得解决arm64的镜像问题。

环境如下：

CPU: Kunpeng-920 arm64
OS : Kylin Linux Advanced Server V10 (Halberd)
Harbor：2.12.x

部署方式采用的官方 harbor-offline-installer 方式（https://goharbor.io/docs/2.12.0/install-config/）

二、部署：基于官方harbor-offline-installer方式

System requirements:

On a Linux host: docker 20.10.10-ce+ and docker-compose 1.18.0+ .

Download binaries of **Harbor release **and follow Installation & Configuration Guide to install Harbor.

所以也就安装官方提供的方式部署了，但是harbor官方不提供arm的镜像，habor-offline-installer里面默认只有x86_64的离线镜像，所以这里找到 ghcr.io的镜像

docker pull --platform=linux/arm64 ghcr.io/octohelm/harbor/harbor-registryctl:v2.12.0 
docker pull --platform=linux/arm64 ghcr.io/octohelm/harbor/nginx-photon:v2.12.0 
docker pull --platform=linux/arm64 ghcr.io/octohelm/harbor/registry-photon:v2.12.0
docker pull --platform=linux/arm64 ghcr.io/octohelm/harbor/prepare:v2.12.0    
docker pull --platform=linux/arm64 ghcr.io/octohelm/harbor/harbor-portal:v2.12.0    
docker pull --platform=linux/arm64 ghcr.io/octohelm/harbor/harbor-log:v2.12.0
docker pull --platform=linux/arm64 ghcr.io/octohelm/harbor/harbor-exporter:v2.12.0
docker pull --platform=linux/arm64 ghcr.io/octohelm/harbor/redis-photon:v2.12.0
docker pull --platform=linux/arm64 ghcr.io/octohelm/harbor/trivy-adapter-photon:v2.12.0 
docker pull --platform=linux/arm64 ghcr.io/octohelm/harbor/harbor-core:v2.12.0 
docker pull --platform=linux/arm64 ghcr.io/octohelm/harbor/harbor-db:v2.12.0  
docker pull --platform=linux/arm64 ghcr.io/octohelm/harbor/harbor-jobservice:v2.12.0 
docker tag ghcr.io/octohelm/harbor/harbor-registryctl:v2.12.0 goharbor/harbor-registryctl:v2.12.0
docker tag ghcr.io/octohelm/harbor/nginx-photon:v2.12.0 goharbor/nginx-photon:v2.12.0
docker tag ghcr.io/octohelm/harbor/registry-photon:v2.12.0 goharbor/registry-photon:v2.12.0
docker tag ghcr.io/octohelm/harbor/prepare:v2.12.0 goharbor/prepare:v2.12.0     
docker tag ghcr.io/octohelm/harbor/harbor-portal:v2.12.0 goharbor/harbor-portal:v2.12.0    
docker tag ghcr.io/octohelm/harbor/harbor-log:v2.12.0 goharbor/harbor-log:v2.12.0
docker tag ghcr.io/octohelm/harbor/harbor-exporter:v2.12.0 goharbor/harbor-exporter:v2.12.0
docker tag ghcr.io/octohelm/harbor/redis-photon:v2.12.0 goharbor/redis-photon:v2.12.0
docker tag ghcr.io/octohelm/harbor/trivy-adapter-photon:v2.12.0 goharbor/trivy-adapter-photon:v2.12.0
docker tag ghcr.io/octohelm/harbor/harbor-core:v2.12.0 goharbor/harbor-core:v2.12.0
docker tag ghcr.io/octohelm/harbor/harbor-db:v2.12.0 goharbor/harbor-db:v2.12.0
docker tag ghcr.io/octohelm/harbor/harbor-jobservice:v2.12.0 goharbor/harbor-jobservice:v2.12.0

解决了镜像问题，其他安装官方文档继续部署就行。

💡 直觉判断：
官方方案 + 知名社区组织镜像，理论上不该有坑。

三、问题现象：Redis容器直接Crash

你会看到habor-core以及harbor-jobservice以及redis 容器都是异常的，但根因是redis异常导致的。

#docker ps

#redis 一直在重启 Restarting
goharbor/redis-photon:v2.12.0                               "docker-entrypoint.s…"   6 minutes ago   Restarting (139) 19 seconds ago  

查看日志报错如下:
<jemalloc>: Unsupported system page size

四、根因分析：真正问题出在了哪里？

从英文表面上面看，原因是因为redis不支持当前系统的page size。

我用的系统是麒麟V10，默认的page size是64k

# getconf PAGE_SIZE
65536

harbor官方的redis镜像基于redis 6.0 源码 build，同时使用了jemalloc，看这样子只能说是编译的jemalloc 不支持64k了。

五、方案推荐：附自动化工具

5.1 短期方案

使用docker library的redis:latest ，经测试支持page size 64k.

5.2 长期方案

官方其实提供了arm64镜像的build 工具，在 https://github.com/goharbor/harbor-arm，

参考官方文档 ，默认编译的harbor 2.3 , 可以自行更改Makefile中的版本, 比如release-2.12.0

# first step: clone harbor ARM code
git clone https://github.com/goharbor/harbor-arm.git
#vim Makefile
# execute build command：Download harbor source code
cd harbor-arm && make download

# compile redis:
make compile_redis

# Prepare to build arm architecture image data:
make prepare_arm_data

# Replace build arm image parameters：
make pre_update

# Compile harbor components:
make compile COMPILETAG=compile_golangimage

# Build harbor arm image:
make build GOBUILDTAGS="include_oss include_gcs" BUILDBIN=true NOTARYFLAG=true TRIVYFLAG=true CHARTFLAG=true GEN_TLS=true PULL_BASE_FROM_DOCKERHUB=false

查看harbor-arm 中redis.spec中可以看到其实harbor官方编译jemalloc 已经使用了 --with-lg-page=16 （64KB) 了,所以其实使用harbor-arm官方的build镜像理应就可以支持64KB的page size，由于物理条件限制所以没有使用测试，大家可以试试~

附:

​ 经测试整理直接可用 harbor-offline-install下载地址：

我用夸克网盘分享了「harbor-offline-installer-v2.12.0-new.tgz」，点击链接即可保存。打开「夸克APP」，无需下载在线播放视频，畅享原画5倍速，支持电视投屏。
链接：https://pan.quark.cn/s/38d925869d1b
提取码：e8SL

参考：

https://hub.docker.com/u/scalegriddevs

https://docker.aityp.com/r/ghcr.io/octohelm/harbor

https://github.com/goharbor/harbor-arm

https://blog.csdn.net/jiejiegua/article/details/135008833