使用AudioRenderer開發(fā)音頻播放功能

2024-02-16 13:53 更新

AudioRenderer是音頻渲染器,用于播放PCM(Pulse Code Modulation)音頻數(shù)據(jù),相比AVPlayer而言,可以在輸入前添加數(shù)據(jù)預(yù)處理,更適合有音頻開發(fā)經(jīng)驗的開發(fā)者,以實現(xiàn)更靈活的播放功能。

開發(fā)指導(dǎo)

使用AudioRenderer播放音頻涉及到AudioRenderer實例的創(chuàng)建、音頻渲染參數(shù)的配置、渲染的開始與停止、資源的釋放等。本開發(fā)指導(dǎo)將以一次渲染音頻數(shù)據(jù)的過程為例,向開發(fā)者講解如何使用AudioRenderer進行音頻渲染,建議搭配AudioRenderer的API說明閱讀。

下圖展示了AudioRenderer的狀態(tài)變化,在創(chuàng)建實例后,調(diào)用對應(yīng)的方法可以進入指定的狀態(tài)實現(xiàn)對應(yīng)的行為。需要注意的是在確定的狀態(tài)執(zhí)行不合適的方法可能導(dǎo)致AudioRenderer發(fā)生錯誤,建議開發(fā)者在調(diào)用狀態(tài)轉(zhuǎn)換的方法前進行狀態(tài)檢查,避免程序運行產(chǎn)生預(yù)期以外的結(jié)果。

為保證UI線程不被阻塞,大部分AudioRenderer調(diào)用都是異步的。對于每個API均提供了callback函數(shù)和Promise函數(shù),以下示例均采用callback函數(shù)。

圖1 AudioRenderer狀態(tài)變化示意圖

在進行應(yīng)用開發(fā)的過程中,建議開發(fā)者通過on('stateChange')方法訂閱AudioRenderer的狀態(tài)變更。因為針對AudioRenderer的某些操作,僅在音頻播放器在固定狀態(tài)時才能執(zhí)行。如果應(yīng)用在音頻播放器處于錯誤狀態(tài)時執(zhí)行操作,系統(tǒng)可能會拋出異?;蛏善渌炊x的行為。

  • prepared狀態(tài): 通過調(diào)用createAudioRenderer()方法進入到該狀態(tài)。
  • running狀態(tài): 正在進行音頻數(shù)據(jù)播放,可以在prepared狀態(tài)通過調(diào)用start()方法進入此狀態(tài),也可以在paused狀態(tài)和stopped狀態(tài)通過調(diào)用start()方法進入此狀態(tài)。
  • paused狀態(tài): 在running狀態(tài)可以通過調(diào)用pause()方法暫停音頻數(shù)據(jù)的播放并進入paused狀態(tài),暫停播放之后可以通過調(diào)用start()方法繼續(xù)音頻數(shù)據(jù)播放。
  • stopped狀態(tài): 在paused/running狀態(tài)可以通過stop()方法停止音頻數(shù)據(jù)的播放。
  • released狀態(tài): 在prepared、paused、stopped等狀態(tài),用戶均可通過release()方法釋放掉所有占用的硬件和軟件資源,并且不會再進入到其他的任何一種狀態(tài)了。

開發(fā)步驟及注意事項

  1. 配置音頻渲染參數(shù)并創(chuàng)建AudioRenderer實例,音頻渲染參數(shù)的詳細信息可以查看AudioRendererOptions
    1. import audio from '@ohos.multimedia.audio';
    2. let audioStreamInfo = {
    3. samplingRate: audio.AudioSamplingRate.SAMPLE_RATE_44100,
    4. channels: audio.AudioChannel.CHANNEL_1,
    5. sampleFormat: audio.AudioSampleFormat.SAMPLE_FORMAT_S16LE,
    6. encodingType: audio.AudioEncodingType.ENCODING_TYPE_RAW
    7. };
    8. let audioRendererInfo = {
    9. content: audio.ContentType.CONTENT_TYPE_SPEECH,
    10. usage: audio.StreamUsage.STREAM_USAGE_VOICE_COMMUNICATION,
    11. rendererFlags: 0
    12. };
    13. let audioRendererOptions = {
    14. streamInfo: audioStreamInfo,
    15. rendererInfo: audioRendererInfo
    16. };
    17. audio.createAudioRenderer(audioRendererOptions, (err, data) => {
    18. if (err) {
    19. console.error(`Invoke createAudioRenderer failed, code is ${err.code}, message is ${err.message}`);
    20. return;
    21. } else {
    22. console.info('Invoke createAudioRenderer succeeded.');
    23. let audioRenderer = data;
    24. }
    25. });
  2. 調(diào)用start()方法進入running狀態(tài),開始渲染音頻。
    1. audioRenderer.start((err) => {
    2. if (err) {
    3. console.error(`Renderer start failed, code is ${err.code}, message is ${err.message}`);
    4. } else {
    5. console.info('Renderer start success.');
    6. }
    7. });
  3. 指定待渲染文件地址,打開文件調(diào)用write()方法向緩沖區(qū)持續(xù)寫入音頻數(shù)據(jù)進行渲染播放。如果需要對音頻數(shù)據(jù)進行處理以實現(xiàn)個性化的播放,在寫入之前操作即可。
    1. const bufferSize = await audioRenderer.getBufferSize();
    2. let file = fs.openSync(filePath, fs.OpenMode.READ_ONLY);
    3. let buf = new ArrayBuffer(bufferSize);
    4. let readsize = await fs.read(file.fd, buf);
    5. let writeSize = await new Promise((resolve, reject) => {
    6. audioRenderer.write(buf, (err, writeSize) => {
    7. if (err) {
    8. reject(err);
    9. } else {
    10. resolve(writeSize);
    11. }
    12. });
    13. });
  4. 調(diào)用stop()方法停止渲染。
    1. audioRenderer.stop((err) => {
    2. if (err) {
    3. console.error(`Renderer stop failed, code is ${err.code}, message is ${err.message}`);
    4. } else {
    5. console.info('Renderer stopped.');
    6. }
    7. });
  5. 調(diào)用release()方法銷毀實例,釋放資源。
    1. audioRenderer.release((err) => {
    2. if (err) {
    3. console.error(`Renderer release failed, code is ${err.code}, message is ${err.message}`);
    4. } else {
    5. console.info('Renderer released.');
    6. }
    7. });

完整示例

下面展示了使用AudioRenderer渲染音頻文件的示例代碼。
  1. import audio from '@ohos.multimedia.audio';
  2. import fs from '@ohos.file.fs';
  3. const TAG = 'AudioRendererDemo';
  4. export default class AudioRendererDemo {
  5. private renderModel = undefined;
  6. private audioStreamInfo = {
  7. samplingRate: audio.AudioSamplingRate.SAMPLE_RATE_48000, // 采樣率
  8. channels: audio.AudioChannel.CHANNEL_2, // 通道
  9. sampleFormat: audio.AudioSampleFormat.SAMPLE_FORMAT_S16LE, // 采樣格式
  10. encodingType: audio.AudioEncodingType.ENCODING_TYPE_RAW // 編碼格式
  11. }
  12. private audioRendererInfo = {
  13. content: audio.ContentType.CONTENT_TYPE_MUSIC, // 媒體類型
  14. usage: audio.StreamUsage.STREAM_USAGE_MEDIA, // 音頻流使用類型
  15. rendererFlags: 0 // 音頻渲染器標志
  16. }
  17. private audioRendererOptions = {
  18. streamInfo: this.audioStreamInfo,
  19. rendererInfo: this.audioRendererInfo
  20. }
  21. // 初始化,創(chuàng)建實例,設(shè)置監(jiān)聽事件
  22. init() {
  23. audio.createAudioRenderer(this.audioRendererOptions, (err, renderer) => { // 創(chuàng)建AudioRenderer實例
  24. if (!err) {
  25. console.info(`${TAG}: creating AudioRenderer success`);
  26. this.renderModel = renderer;
  27. this.renderModel.on('stateChange', (state) => { // 設(shè)置監(jiān)聽事件,當(dāng)轉(zhuǎn)換到指定的狀態(tài)時觸發(fā)回調(diào)
  28. if (state == 2) {
  29. console.info('audio renderer state is: STATE_RUNNING');
  30. }
  31. });
  32. this.renderModel.on('markReach', 1000, (position) => { // 訂閱markReach事件,當(dāng)渲染的幀數(shù)達到1000幀時觸發(fā)回調(diào)
  33. if (position == 1000) {
  34. console.info('ON Triggered successfully');
  35. }
  36. });
  37. } else {
  38. console.info(`${TAG}: creating AudioRenderer failed, error: ${err.message}`);
  39. }
  40. });
  41. }
  42. // 開始一次音頻渲染
  43. async start() {
  44. let stateGroup = [audio.AudioState.STATE_PREPARED, audio.AudioState.STATE_PAUSED, audio.AudioState.STATE_STOPPED];
  45. if (stateGroup.indexOf(this.renderModel.state) === -1) { // 當(dāng)且僅當(dāng)狀態(tài)為prepared、paused和stopped之一時才能啟動渲染
  46. console.error(TAG + 'start failed');
  47. return;
  48. }
  49. await this.renderModel.start(); // 啟動渲染
  50. const bufferSize = await this.renderModel.getBufferSize();
  51. let context = getContext(this);
  52. let path = context.filesDir;
  53. const filePath = path + '/test.wav'; // 使用沙箱路徑獲取文件,實際路徑為/data/storage/el2/base/haps/entry/files/test.wav
  54. let file = fs.openSync(filePath, fs.OpenMode.READ_ONLY);
  55. let stat = await fs.stat(filePath);
  56. let buf = new ArrayBuffer(bufferSize);
  57. let len = stat.size % bufferSize === 0 ? Math.floor(stat.size / bufferSize) : Math.floor(stat.size / bufferSize + 1);
  58. for (let i = 0; i < len; i++) {
  59. let options = {
  60. offset: i * bufferSize,
  61. length: bufferSize
  62. };
  63. let readsize = await fs.read(file.fd, buf, options);
  64. // buf是要寫入緩沖區(qū)的音頻數(shù)據(jù),在調(diào)用AudioRenderer.write()方法前可以進行音頻數(shù)據(jù)的預(yù)處理,實現(xiàn)個性化的音頻播放功能,AudioRenderer會讀出寫入緩沖區(qū)的音頻數(shù)據(jù)進行渲染
  65. let writeSize = await new Promise((resolve, reject) => {
  66. this.renderModel.write(buf, (err, writeSize) => {
  67. if (err) {
  68. reject(err);
  69. } else {
  70. resolve(writeSize);
  71. }
  72. });
  73. });
  74. if (this.renderModel.state === audio.AudioState.STATE_RELEASED) { // 如果渲染器狀態(tài)為released,停止渲染
  75. fs.close(file);
  76. await this.renderModel.stop();
  77. }
  78. if (this.renderModel.state === audio.AudioState.STATE_RUNNING) {
  79. if (i === len - 1) { // 如果音頻文件已經(jīng)被讀取完,停止渲染
  80. fs.close(file);
  81. await this.renderModel.stop();
  82. }
  83. }
  84. }
  85. }
  86. // 暫停渲染
  87. async pause() {
  88. // 只有渲染器狀態(tài)為running的時候才能暫停
  89. if (this.renderModel.state !== audio.AudioState.STATE_RUNNING) {
  90. console.info('Renderer is not running');
  91. return;
  92. }
  93. await this.renderModel.pause(); // 暫停渲染
  94. if (this.renderModel.state === audio.AudioState.STATE_PAUSED) {
  95. console.info('Renderer is paused.');
  96. } else {
  97. console.error('Pausing renderer failed.');
  98. }
  99. }
  100. // 停止渲染
  101. async stop() {
  102. // 只有渲染器狀態(tài)為running或paused的時候才可以停止
  103. if (this.renderModel.state !== audio.AudioState.STATE_RUNNING && this.renderModel.state !== audio.AudioState.STATE_PAUSED) {
  104. console.info('Renderer is not running or paused.');
  105. return;
  106. }
  107. await this.renderModel.stop(); // 停止渲染
  108. if (this.renderModel.state === audio.AudioState.STATE_STOPPED) {
  109. console.info('Renderer stopped.');
  110. } else {
  111. console.error('Stopping renderer failed.');
  112. }
  113. }
  114. // 銷毀實例,釋放資源
  115. async release() {
  116. // 渲染器狀態(tài)不是released狀態(tài),才能release
  117. if (this.renderModel.state === audio.AudioState.STATE_RELEASED) {
  118. console.info('Renderer already released');
  119. return;
  120. }
  121. await this.renderModel.release(); // 釋放資源
  122. if (this.renderModel.state === audio.AudioState.STATE_RELEASED) {
  123. console.info('Renderer released');
  124. } else {
  125. console.error('Renderer release failed.');
  126. }
  127. }
  128. }

當(dāng)同優(yōu)先級或高優(yōu)先級音頻流要使用輸出設(shè)備時,當(dāng)前音頻流會被中斷,應(yīng)用可以自行響應(yīng)中斷事件并做出處理。具體的音頻并發(fā)處理方式可參考多音頻播放的并發(fā)策略。

以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號