Android设备上实现Metal计算：GPU计算的强大新世界

2023-11-14 20:28:18

如何在 Android 上利用 Metal 进行计算

简介

Metal 是 Apple 开发的图形 API，可以用于在 Apple 设备上进行图形渲染和计算。Metal 使用一种称为计算着色器（Compute Shader）的特殊着色器，可以将 GPU 用于通用计算任务，而不局限于图形渲染。

在 Android 上实现 Metal 计算相对来说是一个比较新的领域，但随着 Android 平台的发展，越来越多的开发者开始探索如何在 Android 设备上使用 Metal。本文将介绍如何在 Android 设备上设置 Metal，并构建一个简单的计算 Demo，以展示如何使用 Metal 进行计算。

Metal 基础知识

Metal 是一款低级的图形 API，它直接与图形硬件进行交互。这意味着 Metal 可以提供比其他图形 API 更高的性能，但同时也意味着 Metal 的学习曲线比较陡峭。

Metal 使用一种称为命令缓冲区（Command Buffer）的机制来提交图形命令。命令缓冲区是一系列图形命令的集合，这些命令可以一次性提交给 GPU 执行。命令缓冲区可以提高图形渲染的性能，因为它可以减少 GPU 与 CPU 之间的通信开销。

Metal 还支持计算着色器，计算着色器是一种特殊着色器，可以将 GPU 用于通用计算任务。计算着色器可以用于各种各样的计算任务，例如图像处理、视频处理、物理模拟等。

如何在 Android 上设置 Metal

要在 Android 设备上设置 Metal，你需要一个支持 Metal 的 Android 设备和一个支持 Metal 的 Android NDK 版本。

目前，只有少数 Android 设备支持 Metal，这些设备包括谷歌 Pixel 6 系列、谷歌 Pixel 7 系列和三星 Galaxy S22 系列。

要检查你的 Android 设备是否支持 Metal，你可以使用以下命令：

adb shell dumpsys graphics.composer | grep ro.hardware.vulkan.version

如果输出结果中有“ro.hardware.vulkan.version=1.3”字样，则你的设备支持 Metal。

一旦你确认你的设备支持 Metal，你需要安装一个支持 Metal 的 Android NDK 版本。

目前，Android NDK 25 和更高版本都支持 Metal。你可以从 Android Studio 中下载并安装 Android NDK。

构建一个简单的计算 Demo

现在，我们已经介绍了 Metal 的基本知识和如何在 Android 上设置 Metal，我们可以构建一个简单的计算 Demo，以展示如何使用 Metal 进行计算。

首先，我们需要创建一个新的 Android 项目。

File > New > New Project

然后，选择“Empty Activity”模板并点击“Next”。

接下来，你需要在项目中添加 Metal 库。

File > New > Import Module

然后，选择“Native C++ library”模板并点击“Next”。

在“Module name”字段中，输入“metal-demo”并点击“Finish”。

现在，你需要在 metal-demo 模块中添加一个计算着色器文件。

app/src/main/cpp/metal-demo/compute-shader.metal

在计算着色器文件中，你可以编写以下代码：

#include <metal_stdlib>

using namespace metal;

kernel void compute_shader(
    device float* input,
    uint input_length,
    device float* output
) {
  for (uint i = 0; i < input_length; i++) {
    output[i] = input[i] * 2.0;
  }
}

这个计算着色器将把输入数组中的每个元素乘以 2.0，并将结果存储在输出数组中。

接下来，你需要在 metal-demo 模块中添加一个 Metal 命令缓冲区文件。

app/src/main/cpp/metal-demo/command-buffer.cpp

在 Metal 命令缓冲区文件中，你可以编写以下代码：

#include <android/native_window.h>
#include <metal/metal.h>
#include <metal_stdlib>

using namespace metal;

extern "C" void create_command_buffer(ANativeWindow* window, int width, int height) {
  // 创建 Metal 设备
  MTLDevice* device = MTLCreateSystemDefaultDevice();

  // 创建 Metal 命令队列
  MTLCommandQueue* command_queue = [device newCommandQueue];

  // 创建 Metal 命令缓冲区
  MTLCommandBuffer* command_buffer = [command_queue commandBuffer];

  // 创建 Metal 纹理
  MTLTextureDescriptor* texture_descriptor = [MTLTextureDescriptor new];
  texture_descriptor.pixelFormat = MTLPixelFormatBGRA8Unorm;
  texture_descriptor.width = width;
  texture_descriptor.height = height;
  MTLTexture* texture = [device newTextureWithDescriptor:texture_descriptor];

  // 创建 Metal 着色器库
  MTLShaderLibrary* shader_library = [device newShaderLibraryWithFile:@"compute-shader.metal"];

  // 创建 Metal 计算管道状态
  MTLComputePipelineDescriptor* compute_pipeline_descriptor = [MTLComputePipelineDescriptor new];
  compute_pipeline_descriptor.computeFunction = [shader_library newFunctionWithName:@"compute_shader"];
  MTLComputePipelineState* compute_pipeline_state = [device newComputePipelineStateWithDescriptor:compute_pipeline_descriptor error:nil];

  // 创建 Metal 计算命令编码器
  MTLComputeCommandEncoder* compute_command_encoder = [command_buffer computeCommandEncoder];

  // 设置 Metal 计算管道状态
  [compute_command_encoder setComputePipelineState:compute_pipeline_state];

  // 设置 Metal 纹理
  [compute_command_encoder setTexture:texture atIndex:0];

  // 派发 Metal 计算任务
  [compute_command_encoder dispatchThreadgroups:MTLSizeMake(width / 16, height / 16, 1) threadsPerThreadgroup:MTLSizeMake(16, 16, 1)];

  // 结束 Metal 计算命令编码器
  [compute_command_encoder endEncoding];

  // 提交 Metal 命令缓冲区
  [command_buffer commit];

  // 显示 Metal 纹理
  CAMetalLayer* metal_layer = [CAMetalLayer new];
  metal_layer.frame = CGRectMake(0, 0, width, height);
  metal_layer.drawableSize = CGSizeMake(width, height);
  metal_layer.device = device;
  metal_layer.pixelFormat = MTLPixelFormatBGRA8Unorm;
  [window.layer addSublayer:metal_layer];

  // 呈现 Metal 纹理
  [command_queue presentDrawable:metal_layer.nextDrawable];
}

这个 Metal 命令缓冲区文件将创建一个 Metal 设备、Metal 命令队列、Metal 命令缓冲区、Metal 纹理、Metal 着色器库、Metal 计算管道状态和 Metal 计算命令编码器。然后，它将设置 Metal 计算管道状态、Metal 纹理和 Metal 计算任务，并提交 Metal 命令缓冲区。最后，它将显示 Metal 纹理。

现在，你需要在 metal-demo 模块中添加一个 JNI 文件。

app/src/main/cpp/metal-demo/jni.cpp

在 JNI 文件中，你可以编写以下代码：

#include <android/native_window.h>
#include <jni.h>

extern "C" void Java_com_example_metal_demo_MainActivity_createCommandBuffer(JNIEnv* env, jobject, jobject surface, jint width, jint height) {
  ANativeWindow* window = ANativeWindow_fromSurface(env, surface);
  create_command_buffer(window, width, height);
  ANativeWindow_release(window);
}

这个 JNI 文件将创建一个 Metal 命令缓冲区。

现在，你需要在 MainActivity 中添加以下代码：

package com.example.metal_demo;

import android.os.Bundle;
import android.view.SurfaceHolder;
import android.view.SurfaceView;

import androidx.appcompat.app.AppCompatActivity;

public class MainActivity extends AppCompatActivity implements SurfaceHolder.Callback {
  private SurfaceView surfaceView;

  @Override
  protected void onCreate(Bundle savedInstanceState) {
    super.onCreate(savedInstanceState);
    setContentView(R.layout.activity_main);

    surfaceView = findViewById(R.id.surface_view);
    surfaceView.getHolder().addCallback(this);
  }

  @Override
  public void surfaceCreated(SurfaceHolder surfaceHolder) {
    int width = surfaceView.getWidth();
    int height = surfaceView.getHeight();

    createCommandBuffer(surfaceHolder.getSurface(), width, height);
  }

  @Override
  public void surfaceChanged(SurfaceHolder surfaceHolder, int format, int width, int height) {
    createCommandBuffer(surfaceHolder.getSurface(), width, height);
  }

  @Override
  public void surfaceDestroyed(SurfaceHolder surfaceHolder) {
  }

  public native void createCommandBuffer(Object surface, int width, int height);
}