Wwise SDK 2022.1.18

离线渲染

Wwise 声音引擎提供离线渲染功能以便实现计算量大的非实时音频生成以及音频处理和计算量大的视频生成之间的同步。

warning 注意: 在使用同步 AK::SoundEngine::LoadBank 和 AK::SoundEngine::UnloadBank API 的应用中启用离线渲染时须格外小心。有关详细信息，请参阅音频渲染线程章节。

可使用 AK::SoundEngine::RegisterCaptureCallback 来注册音频捕获回调，以便借助相应机制来访问经过渲染的音频缓冲区。

下面举例阐释了如何实现离线渲染：

/// 可在游戏代码中访问视频捕获服务
namespace VideoCaptureServices
{
    /// 可为视频捕获分配缓冲区
    void Initialize();
    
    /// 可将捕获的视频输出为电影文件
    void Finalize();
 
    /// 可将单个视频帧缓冲区捕获到对应文件中。
    void CaptureSingleFrame();
}
 
/// 可在游戏代码中访问音频捕获服务
namespace AudioCaptureServices
{
    /// 分配缓冲区或打开文件以最终捕获音频样本。
    void Initialize(unsigned in_uSampleRate, unsigned in_uChannels);
 
    /// 一旦完成音频帧捕获，即释放缓冲区或文件句柄。
    void Finalize();
 
    /// 将音频样本添加到分配的缓冲区
    void CaptureInterleavedSamples(float* in_pfSamples, unsigned in_uSampleCount);
}
 
class GameInterface
{
    // ...
 
public:
    /// 每一游戏帧调用一次函数
    virtual void UpdateCallback(float deltaTime //< 经过的实时时钟时间，与离线模式下所需的帧率相对
        ) = 0;
};
 
class Game : public GameInterface
{
    // ...
 
private:
    /// 在启用离线渲染时为 true。
    bool m_bIsOfflineRendering{ false };
 
    /// 使用输出设备 ID 来注册/注销捕获回调。
    AkOutputDeviceID m_defaultOutputDeviceId{ AK_INVALID_OUTPUT_DEVICE_ID };
 
    /// Wwise 音频捕获回调。
    static void CaptureCallback(AkAudioBuffer& in_CaptureBuffer, AkOutputDeviceID /*in_idOutput*/, void* /*in_pCookie*/)
    {
        const unsigned uSampleCount = static_cast<unsigned>(in_CaptureBuffer.uValidFrames) * in_CaptureBuffer.NumChannels();
        if (!uSampleCount)
            return;
 
        AudioCaptureServices::CaptureInterleavedSamples(in_CaptureBuffer.GetInterleavedData(), uSampleCount);
    }
 
public:
    /// 通过调用函数来启用/禁用离线渲染
    void SetOfflineRendering(bool bIsOfflineRendering //< true 表示离线渲染，false 表示实时渲染
        )
    {
        const bool bWasOfflineRendering{ m_bIsOfflineRendering };
        m_bIsOfflineRendering = bIsOfflineRendering;
 
        // 在消息队列中发送消息来启用/禁用离线渲染。
        AK::SoundEngine::SetOfflineRendering(m_bIsOfflineRendering);
 
        if (m_bIsOfflineRendering == bWasOfflineRendering)
            return;
 
        // 在消息队列中发送消息来将离线渲染帧时间设为零，确保后续对 RenderAudio() 的调用不会生成更多音频样本。
        AK::SoundEngine::SetOfflineRenderingFrameTime(0.0f);
 
        // 调用 RenderAudio() 来刷新消息队列。在此调用之后，将启用/禁用离线渲染。
        AK::SoundEngine::RenderAudio();
 
        if (m_bIsOfflineRendering)
        {
            VideoCaptureServices::Initialize();
 
            // 缓存输出设备 ID 以便实施注销。
            m_defaultOutputDeviceId = AK::SoundEngine::GetOutputID(AK_INVALID_UNIQUE_ID, 0);
 
            AkChannelConfig channelConfig{};
            Ak3DAudioSinkCapabilities audioSinkCapabilities{};
 
            // 获取声道数。
            AK::SoundEngine::GetOutputDeviceConfiguration(m_defaultOutputDeviceId, channelConfig, audioSinkCapabilities);
 
            const AkUInt32 uSampleRate{ AK::SoundEngine::GetSampleRate() };
 
            // 提供采样率和声道数以便分配相应的缓冲区。
            AudioCaptureServices::Initialize(uSampleRate, channelConfig.uNumChannels);
 
            AK::SoundEngine::RegisterCaptureCallback(&CaptureCallback, m_defaultOutputDeviceId, this);
        }
        else
        {
            AK::SoundEngine::UnregisterCaptureCallback(&CaptureCallback, m_defaultOutputDeviceId, this);
 
            AudioCaptureServices::Finalize();
            VideoCaptureServices::Finalize();
        }
    }
 
    void UpdateCallback(float deltaTime) override
    {
        if (m_bIsOfflineRendering)
            AK::SoundEngine::SetOfflineRenderingFrameTime(deltaTime);
 
        AK::SoundEngine::RenderAudio();
 
        if (m_bIsOfflineRendering)
            VideoCaptureServices::CaptureSingleFrame();
    }
};

AK::SoundEngine::GetSampleRate

AKSOUNDENGINE_API AkUInt32 GetSampleRate()

Ak3DAudioSinkCapabilities

Definition: AkCommonDefs.h:419

AkAudioBuffer::NumChannels

AkForceInline AkUInt32 NumChannels() const

Get the number of channels.

Definition: AkCommonDefs.h:481

AkChannelConfig

Definition: AkSpeakerConfig.h:497

AK::SoundEngine::SetOfflineRenderingFrameTime

AKSOUNDENGINE_API AKRESULT SetOfflineRenderingFrameTime(AkReal32 in_fFrameTimeInSeconds)

AkAudioBuffer::uValidFrames

AkUInt16 uValidFrames

Number of valid sample frames in the audio buffer

Definition: AkCommonDefs.h:646

AK::SoundEngine::GetOutputID

AKSOUNDENGINE_API AkOutputDeviceID GetOutputID(AkUniqueID in_idShareset, AkUInt32 in_idDevice)

AK::SoundEngine::GetOutputDeviceConfiguration

AKSOUNDENGINE_API AKRESULT GetOutputDeviceConfiguration(AkOutputDeviceID in_idOutput, AkChannelConfig &io_channelConfig, Ak3DAudioSinkCapabilities &io_capabilities)

AK::SoundEngine::RegisterCaptureCallback

AKSOUNDENGINE_API AKRESULT RegisterCaptureCallback(AkCaptureCallbackFunc in_pfnCallback, AkOutputDeviceID in_idOutput=AK_INVALID_OUTPUT_DEVICE_ID, void *in_pCookie=NULL)

AK::SoundEngine::RenderAudio

AKSOUNDENGINE_API AKRESULT RenderAudio(bool in_bAllowSyncRender=true)

AK::SoundEngine::UnregisterCaptureCallback

AKSOUNDENGINE_API AKRESULT UnregisterCaptureCallback(AkCaptureCallbackFunc in_pfnCallback, AkOutputDeviceID in_idOutput=AK_INVALID_OUTPUT_DEVICE_ID, void *in_pCookie=NULL)

AK_INVALID_OUTPUT_DEVICE_ID

static const AkUInt32 AK_INVALID_OUTPUT_DEVICE_ID

Invalid Device ID

Definition: AkTypes.h:175

AK_INVALID_UNIQUE_ID

static const AkUniqueID AK_INVALID_UNIQUE_ID

Invalid unique 32-bit ID

Definition: AkTypes.h:163

AK::SoundEngine::SetOfflineRendering

AKSOUNDENGINE_API AKRESULT SetOfflineRendering(bool in_bEnableOfflineRendering)

AkUInt32

uint32_t AkUInt32