DC娱乐网

Pipecat 是Python实时语音与多模态对话框架,用pipeline连接音

Pipecat 是Python实时语音与多模态对话框架,用pipeline连接音视频输入、语音识别、模型、工具、语音合成和传输。当前main也把多个pipeline作为协作Agent,支持交接、并行分工和后台worker,适合需要低延迟对话与工具处理同时进行的应用。

核心功能与特性
以Frame/Pipeline处理实时媒体和AI服务,组织输入、处理及输出。
接入多种STT、LLM、TTS与实时模型提供方,按需安装extras。
提供WebRTC、电话及其它传输集成,用于客户端与服务端对话。
多Agent支持handoff、fanout、sidecar和shared bus协作,可跨进程/机器部署。
LLMWithBackend示例将快速语音模型与较慢的工具backend配合;Flows用于对话流程控制。

具体应用场景
让语音客服在查询慢速业务工具时继续与用户交流。
搭建口语练习、实时助手或会议中的音视频交互服务。
把多个专长Agent组合为前台对话和后台处理系统。