TorchCodec整合媒体解码与编码,其他库则专注于转换
媒体技术栈现已将解码和编码与转换分离,各个库可以遵循各自的发布计划。
AI 插图媒体解码和编码已整合到TorchCodec中,而TorchVision和TorchAudio现在专注于转换。此次重组涵盖图像、视频和音频,取代了此前零散分散的接口和后端。
对用户而言,这种划分将媒体与张量之间的输入输出,同这些步骤之间执行的操作区分开来。TorchCodec负责将文件或编码字节解码为张量,以及将张量编码回媒体文件。TorchVision提供图像和视频转换;TorchAudio负责音频转换。
这些变化也会影响现有软件。此前由TorchVision和TorchAudio提供的解码和编码接口已被弃用或移除。这些库中的模型、数据集和流水线不再处于积极开发中,而生态系统中的其他替代方案可实现这些功能。
Nicolas Hug和Scott Schneider将维护和性能describe为把媒体输入输出集中到单一库中的原因。
作者表示,这次过渡对 TorchAudio 的影响尤为严重,大量接口被弃用并最终移除。在社区反馈的推动下,他们保留了最初打算撤下的几个常用接口。
作者表示,这三个库现在都具备 ABI 稳定性。库的版本不再与某个框架版本绑定,可以继续配合后续版本使用。因此,这些库无需随每次框架发布而重新构建,也不再遵循框架的发布节奏。这次整合历时两年多,并非一次性推出的全新媒体功能。