• 背景

  • 如何接入Hybrid composition

    • 1. 新建原生工程和Flutter Module
  • 2. 新建native_view_example.dart文件

  • 3. 在main.dart文件中显示

  • 4. 新建NativeView

  • 5. 新建NativeViewFactory

  • 6. 注册平台视图

  • Hybrid Composition原理分析

    • FlutterImageView分析
  • PlatformViewLink分析

  • PlatformViewController分析

  • AndroidViewSurface分析

  • PlatformView创建过程的时序图

  • PlatformViewLayer分析

  • FlutterJNI.onDisplayPlatformView分析

背景

=================================================================

平台整合是指平台视图允许在 Flutter 应用程序中嵌入原生视图,可以将变换、剪辑和不透明度等应用到 Dart 的原生视图。例如,这允许您通过使用平台视图直接在 Flutter 应用程序中使用来自 Android 和 iOS SDK 的原生 百度,高德地图等。下面我们一起来看看如何在 Flutter 应用程序中托管您自己的原生视图,以及其中的原理深入分析。

目前Flutter支持两种模式:

  1. Virtual displays

虚拟显示,在Flutter 1.20之前需要将AndroidView绘制到VirtualDisplays中,然后Flutter Engine通过Surface获取到绘制的画面,显示在Flutter UI上面。这种方式的弊端就是在于Flutter UI与原生的View在各种时间交互上存在诸多问题。

  1. Hybrid composition

混合组合,需要在Flutter1.22之后(推荐使用1.22.2版本)。它与VirtualDispalys不同,它是通过将Flutter UI分为两个纹理来组合完成,一个用于显示平台视图,一个用于显示FLutterUI。这样的优点就是平台视图可以直接参与到Flutter的UI层次结构中去。

本文主要是介绍分析Hybrid composition这种模式。

如何接入Hybrid composition

=====================================================================================

1. 新建原生工程和Flutter Module


  1. 新建原生宿主工程’‘hello_flutter_composition’’
  1. 打开原生宿主工程,通过AS新建Flutter Module:’‘flutter_module_composition’’

新建完成之后,宿主工程settings.gradle和app/build.gradle会自动加入 flutter_module_composition和flutter_module_composition/Flutter的导入。如图:

在这里插入图片描述

2. 新建native_view_example.dart文件


在flutter_module_composition工程lib目录下新建native_view_example.dart文件

添加代码如下:

import ‘package:flutter/foundation.dart’;

import ‘package:flutter/gestures.dart’;

import ‘package:flutter/material.dart’;

import ‘package:flutter/rendering.dart’;

import ‘package:flutter/services.dart’;

class NativeViewExample extends StatefulWidget {

const NativeViewExample({Key key}) : super(key: key);

@override

_NativeViewExampleState createState() => _NativeViewExampleState();

}

class _NativeViewExampleState extends State {

@override

Widget build(BuildContext context) {

// This is used in the platform side to register the view.

final String viewType = ‘platform-view-type’;

// Pass parameters to the platform side.

final Map<String, dynamic> creationParams = <String, dynamic>{};

return PlatformViewLink(

viewType: viewType,

surfaceFactory:

(BuildContext context, PlatformViewController controller) {

return AndroidViewSurface(

controller: controller as AndroidViewController,

gestureRecognizers: const <Factory>{},

hitTestBehavior: PlatformViewHitTestBehavior.opaque,

);

},

onCreatePlatformView: (PlatformViewCreationParams params) {

return PlatformViewsService.initSurfaceAndroidView(

id: params.id,

viewType: viewType,

layoutDirection: TextDirection.ltr,

creationParams: creationParams,

creationParamsCodec: StandardMessageCodec(),

onFocus: () {

params.onFocusChanged(true);

} ,

)

…addOnPlatformViewCreatedListener(params.onPlatformViewCreated)

…create();

},

);

}

}

3. 在main.dart文件中显示


在main.dart中添加上面新建widget显示

@override

Widget build(BuildContext context) {

return Scaffold(

appBar: AppBar(

title: Text(widget.title),

),

body: Center(

child: Column(

mainAxisAlignment: MainAxisAlignment.center,

children: [

Text(

‘You have pushed the button this many times:’,

),

Text(

‘$_counter’,

style: Theme.of(context).textTheme.headline4,

),

// 新建显示

Container(

padding: EdgeInsets.symmetric(vertical: 5.0, horizontal: 10),

width: 130.0,

height: 100.0,

child: NativeViewExample(),

)

],

),

),

floatingActionButton: FloatingActionButton(

onPressed: _incrementCounter,

tooltip: ‘Increment’,

child: Icon(Icons.add),

), // This trailing comma makes auto-formatting nicer for build methods.

);

}

到了这里,flutter代码基本上修改完毕

再来看看原生工程的修改。

4. 新建NativeView


在flutter_module_composition/.android/Flutter下,新建NativeView,实现PlatformView接口,如:

package com.hb.flutter;

//省略各种导包…

public class NativeView implements PlatformView {

@NonNull

private final TextView textView;

NativeView(@NonNull Context context, int id, @Nullable Map<String, Object> creationParams) {

textView = new TextView(context);

textView.setTextSize(25);

textView.setGravity(Gravity.CENTER);

textView.setBackgroundColor(Color.rgb(100,200,200));

textView.setText(“native view”);

}

@NonNull

@Override

public View getView() {

return textView;

}

@Override

public void dispose() {

}

}

5. 新建NativeViewFactory


还需要创建一个工厂类来创建之前创建的实例 NativeView

package com.hb.flutter;

//省略各种导包…

public class NativeViewFactory extends PlatformViewFactory {

@NonNull

private final BinaryMessenger messenger;

@NonNull private final View containerView;

public NativeViewFactory(@NonNull BinaryMessenger messenger, @NonNull View containerView) {

super(StandardMessageCodec.INSTANCE);

this.messenger = messenger;

this.containerView = containerView;

}

@NonNull

@Override

public PlatformView create(@NonNull Context context, int id, @Nullable Object args) {

final Map<String, Object> creationParams = (Map<String, Object>) args;

return new NativeView(context, id, creationParams);

}

}

最后,注册平台视图。这可以在应用程序或插件中完成。

6. 注册平台视图


在宿主工程里面新建平台视图,修改MainActivity方法如下

public class MainActivity extends FlutterActivity {

@Override

public void configureFlutterEngine(@NonNull FlutterEngine flutterEngine) {

flutterEngine

.getPlatformViewsController()

.getRegistry()

.registerViewFactory(“platform-view-type”, new NativeViewFactory(null, null));

}

}

最后效果如图:

在这里插入图片描述

大功告成,中间显示的’Rendered on a native Android view’就是来着Android的平台视图。

我们来看一下Flutter Inspector里面视图层次展示图片:

在这里插入图片描述

NativeViewExample,PlatformViewLink,AndroidViewSurface就是我们展示之后层次结构。

下面在详细分析。

Hybrid Composition原理分析

=====================================================================================

FlutterImageView分析


要分析Hybrid composition不得不先了解一下:FlutterImageView。

FlutterImageView并不是一个真正的ImageView

事实上Hybrid composition上混合原生控件所需的突出合成都是通过FlutterImageView来实现的。FlutterImageView原版就是一个原生的View,我们来看源码:

// FlutterImageView 适用于开发人员需要渲染 Flutter UI,但也需要渲染交互式 io.flutter.plugin.platform.PlatformView 的情况。

public class FlutterImageView extends View implements RenderSurface {

@NonNull private ImageReader imageReader;

@Nullable private Queue imageQueue;

@Nullable private Image currentImage;

@Nullable private Bitmap currentBitmap;

@Nullable private FlutterRenderer flutterRenderer;

//从imageRender读取bitmap绘制到canvas上

@Override

protected void onDraw(Canvas cavas) {

super.onDraw(canvas);

if (!imageQueue.isEmpty()) {

if (currentImage != null) {

currentImage.close();

}

currentImage = imageQueue.poll();

updateCurrentBitmap();

}

if (currentBitmap != null) {

canvas.drawBitmap(currentBitmap, 0, 0, null);

}

}

}

源码基本上没什么可将,我们能看到FlutterImageView本质上是一个普通的原生View,它实现了RenderSurface接口,从而实现类似FlutterSurfaceView的部分能力。

下面来了解一下FlutterImageView中的几个关键类作用:ImageReader,Image,Bitmap

  • ImageReader:ImageReader 类允许应用程序直接访问渲染到 Surface 中的图像数据,图像数据封装在Image对象中,可以同时访问多个这样的对象,最多可达maxImages构造函数参数指定的数量。 通过其 Surface 发送到 ImageReader 的新图像将排队,直到通过 AcquireLatestImage 或 AcquireNextImage 调用访问。

  • Image:Image就是包含了ByteBuffers的像素数据

  • Bitmap:Bitmap就是将Image转化为可以绘制的位图

这样我们就能理解FlutterImageView,其实就是通过ImageReader读取Surface的数据,然后通过Bitmap绘制出来。Surface的数据从哪来呢?其实跟前面FlutterSurfaceView类似,都是从FlutterRender而来。


下面再来看Flutter侧,我们从上面Flutter Inspector视图层次入手,先来来分析PlatformViewLink

PlatformViewLink分析


我们首先来看看PlatformViewLink的一个结构图:

在这里插入图片描述

PlatformViewLink源码部分,看构造函数:

class PlatformViewLink extends StatefulWidget {

const PlatformViewLink({

Key? key,

required PlatformViewSurfaceFactory surfaceFactory,

required CreatePlatformViewCallback onCreatePlatformView,

required this.viewType,

}) : assert(surfaceFactory != null),

assert(onCreatePlatformView != null),

assert(viewType != null),

_surfaceFactory = surfaceFactory,

_onCreatePlatformView = onCreatePlatformView,

super(key: key);

}

从代码可以看出,PlatformViewLink核心在于三个必选参数:surfaceFactory,onCreatePlatformView,viewType,其中surfaceFactoryonCreatePlatformView 仅在此widget的状态被初始化或 viewType 更改时被调用。

  • PlatformViewSurfaceFactory: 工厂类,返回一个_surface,实际上也是一个widget,Android平台返回的是:AndroidViewSurface

  • CreatePlatformViewCallback: 返回的其实是通过PlatformViewsService.initSurfaceAndroidView创建的一个PlatformViewController,通过它可以控制单个平台视图的界面,并与平台视图交互。

下面来逐一分析下AndroidViewSurfacePlatformViewController

首先来看看PlatformViewController

PlatformViewController分析


PlatformViewController是一个抽象类,字面意思就是平台视图的控制器,被PlatformViewSurface引用,用于与平台视图交互,我们来看类源码:

abstract class PlatformViewController {

// 与控制器关联的视图ID,

// viewId 应始终唯一且非负。 并且它不能为空。

// viewId通过全局唯一的管理器PlatformViewsRegistry生成管理

int get viewId;

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数初中级Android工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则近万的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

img

img

img

img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注:Android)

建议

当我们出去找工作,或者准备找工作的时候,我们一定要想,我面试的目标是什么,我自己的技术栈有哪些,近期能掌握的有哪些,我的哪些短板 ,列出来,有计划的去完成,别看前两天掘金一些大佬在驳来驳去 ,他们的观点是他们的,不要因为他们的观点,膨胀了自己,影响自己的学习节奏。基础很大程度决定你自己技术层次的厚度,你再熟练框架也好,也会比你便宜的,性价比高的替代,很现实的问题但也要有危机意识,当我们年级大了,有哪些亮点,与比我们经历更旺盛的年轻小工程师,竞争。

  • 无论你现在水平怎么样一定要 持续学习 没有鸡汤,别人看起来的毫不费力,其实费了很大力,这四个字就是我的建议!!!!!!!!!

  • 准备想说怎么样写简历,想象算了,我觉得,技术就是你最好的简历

  • 我希望每一个努力生活的it工程师,都会得到自己想要的,因为我们很辛苦,我们应得的。

  • 有什么问题想交流,欢迎给我私信,欢迎评论

【附】相关架构及资料

Android高级技术大纲

面试资料整理

内含往期Android高级架构资料、源码、笔记、视频。高级UI、性能优化、架构师课程、NDK、混合式开发(ReactNative+Weex)微信小程序、Flutter全方面的Android进阶实践技术

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》,点击传送门即可获取!

建议

当我们出去找工作,或者准备找工作的时候,我们一定要想,我面试的目标是什么,我自己的技术栈有哪些,近期能掌握的有哪些,我的哪些短板 ,列出来,有计划的去完成,别看前两天掘金一些大佬在驳来驳去 ,他们的观点是他们的,不要因为他们的观点,膨胀了自己,影响自己的学习节奏。基础很大程度决定你自己技术层次的厚度,你再熟练框架也好,也会比你便宜的,性价比高的替代,很现实的问题但也要有危机意识,当我们年级大了,有哪些亮点,与比我们经历更旺盛的年轻小工程师,竞争。

  • 无论你现在水平怎么样一定要 持续学习 没有鸡汤,别人看起来的毫不费力,其实费了很大力,这四个字就是我的建议!!!!!!!!!

  • 准备想说怎么样写简历,想象算了,我觉得,技术就是你最好的简历

  • 我希望每一个努力生活的it工程师,都会得到自己想要的,因为我们很辛苦,我们应得的。

  • 有什么问题想交流,欢迎给我私信,欢迎评论

【附】相关架构及资料

[外链图片转存中…(img-4veU1BSm-1712311031040)]

[外链图片转存中…(img-x2Dp2s7W-1712311031040)]

内含往期Android高级架构资料、源码、笔记、视频。高级UI、性能优化、架构师课程、NDK、混合式开发(ReactNative+Weex)微信小程序、Flutter全方面的Android进阶实践技术

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》,点击传送门即可获取!
Logo

开源鸿蒙跨平台开发社区汇聚开发者与厂商,共建“一次开发,多端部署”的开源生态,致力于降低跨端开发门槛,推动万物智联创新。

更多推荐