使用OpenHarmonyNDK移植三方库Speexdsp
大家好，我是一名即将本科毕业的OpenHarmony开发者，去年暑假利用了两个月时间移植了一个语音处理的三方库S
2023-05-16 10:09:07
使用OpenHarmonyNDK移植三方库Speexdsp
2023-05-16 10:09:07 来源：OpenHarmony开发经验
大家好，我是一名即将本科毕业的OpenHarmony开发者，去年暑假利用了两个月时间移植了一个语音处理的三方库Speexdsp到OpenHarmony标准系统。主要为其编写了
build.gn使其加入了OpenHarmony编译体系（基于ninja和gn）,Speexdsp在linux下是使用构建工具configure、makefile构建的。移植的难点并不在于.c和.h以及cflags、idflags的分析，而在于重新熟悉一套编译构建体系，而且当时可参考的资料并不太多。笔者最近为Speexdsp编写了CMakeLists.txt，使用OpenHarmony的NDK工具编译出来so动态库和可执行文件,并且成功在开发板上运行，现将经验分享如下：speexdsp移植完毕已提交至openhamrony sig仓库：https://gitee.com/openharmony-sig/contest/tree/master/2022_OpenHarmony_thirdparty/speexdsp
(资料图片)
（笔者也没想到会继续续写三方库方面的文章，学无止境，希望能够帮助更多人了解OpenHarmony，加入OpenHarmony生态）
NDK (原生开发套件) 是一套工具，使开发者能够在 OpenHarmony hap应用中使用 C/C++代码。它提供了一系列的工具可以帮助开发者快速的开发C/C++的动态库、静态库和可执行文件。OpenHarmony 应用开发的Native C++开发方式就要依赖NDK。NDK被包含在OpenHarmony SDK中。可以在DevEco Studio使用 NDK 将 C/C ++ 代码编译到so库中，然后使用 DevEco Studio 的构建插件hvigor-ohos-plugin将so库打包到 Hap 中。ArkTS代码随后可以通过NAPI框架调用SO库中的函数。深开鸿郭岳峰老师开发的OCRDemo就通过NAPI调用了C++的三方库Tesseract的能力，而这个库本身还依赖leptonica、libjpeg、libpng、libtiff等C/C ++ 等四方库。如果重新编写build.gn移植到OpenHarmony，工作量巨大。Tesseract (Apache 2.0 License)是一个可以进行图像OCR识别的C ++ 库OpenHarmony集成OCR三方库实现文字提取1. 编写build.gn与编写CMakeLists.txt移植到OpenHarmony两者的区别
1、编译环境不同，编译工具编写build.gn方式，编译环境是在OpenHarmony源码中，编译时使用到的是源码中的编译工具。编写CMakeLists.txt的移植方式实际上是Native C++应用开发方式的一种，并且NDK是SDK的一部分，编译so时候实际上使用的是NDK的编译工具。2、so安装的地方不一样编写build.gn方式，三方库编译出来的so和测试用例可以打包进入OpenHarmony固件中。编写CMakeLists.txt方式，编译出来的实际上会被打包进入hap应用中，hap再安装到OpenHarmony操作系统上完成三方库so能力的调用。3、编写CMakeLists.txt比编写build.gn更容易build.gn总有各种各样的编译器标志要加入以消除编译报错，开发者学习成本比较高CMakeLists.txt方式开发者则相对熟悉，对于原生库就是camke构建的三方库，只需要对原生库已有的CMakeLists.txt做少量修改，比如删除与其他操作系统有关的部分（笔者说的就是AOSP）。2. 使用OpenHarmony的NDK工具移植Speexdsp到Speexdsp
在windows端的IDE上调用NDK创建Native C++工程，但是先不写NAPI和ArkTS的部分，先为C/C ++的三方库编写CMakeLists.txt（如果三方库本身就是cmake构建的，但也要对CMakeLists.txt进行少量的修改，详细请参考该样例 https://gitee.com/openharmony-sig/knowledge_demo_temp/tree/master/FA/OCRDemo）。 然后编译hap应用来调用SDK中的NDK工具。3. 创建Native C++工程使用SDK中的NDK工具
创建Native C++工程参考：三方库移植之NAPI开发[3]通过IDE开发NAPI工程
1、打开IDE Deveco Studio，创建一个Native C++工程。
2、SDK选择API9，model选择Stage。新建的Native C++工程有一个默认的hello world教程
3.1 将Speexdsp加入Native C++工程，在库中编写顶层CMakeLists.txt生成动态库
1、将speexdsp源码移动到Native C++工程entry\\src\\main\\cpp目录，cpp目录专门用于存放C/C ++代码。
2、删除Speexdsp中无关的代码让代码结构简洁。Speexdsp中有一些无关的代码，例如和win32、macO上运行的有关代码,甚至还有塞班系统symbian上的代码。（不管了先删除，不知道Speexdsp的开源协议允不允许笔者这样做，但是看着乱乱的目录结构，笔者希望这样让自身的思路清晰一些。）
# 目录结构说明cpp├─include # .h文件├─libspeexdsp # .c文件│ └─CMakeLists.txt # 笔者编写的用来生成可执行文件库的CMakeLists.txt├─BUILD.gn # 笔者之前写的BUILD.gn，现在拿来参考写CMakeLists.txt├─CMakeLists.txt # 笔者编写的用来生成动态库的CMakeLists.txt├─config.h # Speexdsp原生库在linux下编译构建生成的配置文件├─speexdsp_api.txt # Speexdsp的api列表└─speedsp_tested_api.txt3、编写顶层在CMakeLists.txt生成动态库
# CMake的最小版本要求cmake_minimum_required(VERSION 3.4.1)# 脚本中set是将普通变量、缓存变量或者环境变量设置为指定的值。# 从CMake v3.1开始，可以CMAKE_CXX_STANDARD变量设置C++标准set(CMAKE_CXX_STANDARD 11)# 项目名称project(speexdsp)# 添加cflags信息set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -g")set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -O2")set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -fvisibility=hidden")set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -Wno-implicit-function-declaration")set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -Wno-pointer-sign")set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -Wno-c99-extensions")set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -Wno-unused-variable")# cflags信息# 这个命令是针对所有类型编译器的，也就是说这里添加的选项会在所有的编译器中运用，比如-std=c++11是针对C++的编译器参数，也会被运用在C语言编译器中# 通过在CMakeLists.txt文件中添加add_compile_options命令可以起到添加参数的作用add_compile_options(-g -O2 -fvisibility=hidden -Wno-implicit-function-declaration -Wno-pointer-sign -Wno-c99-extensions -Wno-unused-variable)# 头文件set(INCLUDE_DIR "${CMAKE_CURRENT_SOURCE_DIR}")# 设定编译宏 -Dadd_definitions(-DHAVE_CONFIG_H)############################################################# 创建so动态库# 源文件# CMAKE_CURRENT_SOURCE_DIR指的CMakeLists.txt当前所在的目录set(SHARED_LIB_SRC "${CMAKE_CURRENT_SOURCE_DIR}/libspeexdsp/preprocess.c" "${CMAKE_CURRENT_SOURCE_DIR}/libspeexdsp/jitter.c" "${CMAKE_CURRENT_SOURCE_DIR}/libspeexdsp/mdf.c" "${CMAKE_CURRENT_SOURCE_DIR}/libspeexdsp/fftwrap.c" "${CMAKE_CURRENT_SOURCE_DIR}/libspeexdsp/filterbank.c" "${CMAKE_CURRENT_SOURCE_DIR}/libspeexdsp/resample.c" "${CMAKE_CURRENT_SOURCE_DIR}/libspeexdsp/buffer.c" "${CMAKE_CURRENT_SOURCE_DIR}/libspeexdsp/scal.c" "${CMAKE_CURRENT_SOURCE_DIR}/libspeexdsp/smallft.c")add_library(speexdsp SHARED ${SHARED_LIB_SRC})target_include_directories(speexdsp PRIVATE ${INCLUDE_DIR})############################################################# 链接数学库-lm# 如果为所有target统一指定编译时要链接的库用LINK_LIBRARIES# 为每个target单独指定编译时要链接的库用TARGET_LINK_LIBRARIESlink_libraries(-lm)target_link_libraries(speexdsp PUBLIC m)# 使用add_subdirectory()将子目录添加到构建add_subdirectory(libspeexdsp)3.2 在库中编写底层CMakeLists.txt生成可执行文件，用来验证so库是否运行正常
在.c源文件目录添加CMakeLists.txt用来编译出可执行文件，用来验证使用NDK移植三方库到OpenHarmony标准系统是否成功。如下:cmake_minimum_required(VERSION 3.4.1)project(test)#生成执行二进制文件，生成testdenoise测试用例ADD_EXECUTABLE(testdenoise testdenoise.c)# 将二进制文件链接到生成的动态库TARGET_LINK_LIBRARIES(testdenoise PUBLIC speexdsp)# 将二进制文件链接的库文件link_libraries(-lm)# 添加编译器标志add_compile_options(-g -O2 -fvisibility=hidden)# 生成testecho测试用例ADD_EXECUTABLE(testecho testecho.c)TARGET_LINK_LIBRARIES(testecho PUBLIC speexdsp)link_libraries(-lm)add_compile_options(-g -O2 -fvisibility=hidden)# 生成testjitter测试用例ADD_EXECUTABLE(testjitter testjitter.c)TARGET_LINK_LIBRARIES(testjitter PUBLIC speexdsp)link_libraries(-lm)add_compile_options(-g -O2 -fvisibility=hidden)# 生成testresample测试用例ADD_EXECUTABLE(testresample testresample.c)TARGET_LINK_LIBRARIES(testresample PUBLIC speexdsp)link_libraries(-lm)add_compile_options(-g -O2 -fvisibility=hidden)# 生成testresample2测试用例ADD_EXECUTABLE(testresample2 testresample2.c)TARGET_LINK_LIBRARIES(testresample2 PUBLIC speexdsp)link_libraries(-lm)add_compile_options(-g -O2 -fvisibility=hidden)3.3 在库外的CMakeLists.txt中添加代码使能speexdsp编译
1、 新建的Native C++工程是有一个默认的Hello World模板的，在entry\\src\\main\\cpp目录下有一个CMakeLists.txt,需要在其中添加代码使能speexdsp编译
在entry\\src\\main\\cpp\\CMakeLists.txt中主要做两件事情# 添加子目录speexdspadd_subdirectory(speexdsp)# 添加链接libspeexdsp.so动态库# 把动态库libentry.so链接到动态库libspeexdsp.sotarget_link_libraries(entry PUBLIC libace_napi.z.so speexdsp)3.4 执行编译命令编译动态库和测试用例
1、在IDE上方工具栏选择编译hap进行so和测试用例的编译
2、编译结果在entry\\build\\default\\intermediates\\cmake\\default\\obj目录下
├─arm64-v8a │ libc++_shared.so│ libentry.so│ libspeexdsp.so│ testdenoise│ testecho│ testjitter│ testresample│ testresample2│└─armeabi-v7a libc++_shared.so libentry.so libspeexdsp.so testdenoise testecho testjitter testresample testresample23.5 根据32位和64位的OpenHarmony版本推送相应的so和可执行文件到开发板上
如何分辨开发板上OpenHarmony版本是64位还是32位？和linux的方式是一样。用
getconf WORD_BIT和getconf LONG_BIT获得word和long的位数。64位系统中分别得到32和64。32位系统中分别得到32和32。
1、笔者开发板上烧录的是32位的OpenHarmony Beta5版本
因此需要将Native C++工程目录下的entry\\build\\default\\intermediates\\cmake\\default\\obj\\armeabi-v7a中的libspeexdsp.so和testdenoise、testecho、testjitter、testresample、testresample2推送到设备端的data目录
2、通过与ohos版本匹配的hdc_std工具,将编译生成的库以及测试用的可执行文件推送到开发板的data目录
hdc_std shell mount -o remount,rw / ## 重新加载系统为可读写hdc_std file send testdenoise /data ## 推送可执行文件testdenoise到data目录hdc_std file send libspeexdsp /data ## 推送libspeexsdp.so到data目录./testdenoise < input.pcm > output.pcm4、测试结果：对比输入的input.pcm和输出的outpu.pcm的波形图和声谱图，噪声已经被消除。pc端和rk3568开发板运行testdenoise可执行程序效果一致。可执行文件运行成功，使用OpenHarmonyNDK移植三方库Speexdsp成功
知识点附送
1、AIP8的应用如何更改为API9支持64位版本
1.1 API8只支持32位，API9支持32位和64位。
以该PR https://gitee.com/openharmony/applications_app_samples/pulls/759 学习将api8应用适配适配Arm64
1、修改build-profile.json5 ，将compileSdkVersion和compatibleSdkVersion属性由8改为9
compileSdkVersion指定OpenHarmony应用/服务编译时的SDK版本
compatibleSdkVersion指定OpenHarmony应用/服务兼容的最低SDK版本
2、修改entry/build-profile.json5，abi添加64位arm64-v8a
abiFilters用于设置本机的ABI编译环境
3、修改entry/src/main/config.json，设备类型改为默认
4、这个pr改动了XComponent/entry/src/main/cpp/common/plugin_common.h文件，plugin_common.h文件和hilog调试的功能有关。
2、编译构建子系统如何增加编译构建arm64选择
以该issue https://gitee.com/openharmony/build/issues/I53E9I 来学习
分别在hb工具和build.sh脚本添加--target-cpu选项电源服务子系统支持64位
https://gitee.com/openharmony/powermgr_power_manager/issues/I55094
graphic子系统适配64位编译
https://gitee.com/openharmony/graphic_graphic_2d/issues/I53720
标签：
