11月上旬北京海淀，TsingtaoAI技术团队为某央企汽车集团智驾团队开展车机交互中语言处理与生成主题实训。实训基于吉利、广汽等车企的量产落地经验，深度解构车机语言处理全链路：ASR抗风噪优化、AudioShake语音分离、GLM-4-Voice端到端低延迟方案，以及基于DeepSeek的车控对话系统构建。课程以"一次唤醒、多轮交互、全域服务"为脉络，结合燃油车升级、新能源出海等真实案例，直击识别率低、延迟高、离线受限三大行业痛点。特别强调声纹双因子验证、云端-边缘混合部署等安全合规设计，并前瞻性探讨多模态交互、车路协同V2X等下一代技术路径。内容直指实战需求，提供可落地的技术选型与优化策略，助力企业构建安全、高效、有温度的智能座舱语音系统。
车机系统开发工程师
语音交互产品经理
NLP算法工程师
车载用户体验设计师
【实训目标】理解车机交互的核心技术（语音识别、NLP、语音合成等）。
掌握车载场景下语言处理与生成的实现方法与优化策略。
能够设计符合用户需求的车载语音交互流程。
【实训大纲】1、车载语音交互介绍
导航、娱乐、通讯、车辆控制、智能助理、车辆诊断等
2、车载语音交互的技术解析
ASR、NLP、自然语言生成
TTS
主要讲解的技术模块如下：
（一）车载语音交互设计
1、信息交流：语音指令、语音反馈、视觉界面、图标与指示灯、文字提示
2、车载语音交互系统流程：唤醒、输入、理解和回答
3、系统架构：应用层、功能层、算法层
4、功能介绍：音区锁定和声纹识别、唤醒+延时聆听、自定义唤醒、全双工应答、全时免唤醒、自定义播报音、单指令多任务车控、多轮对话、离在线融合、可见即可说、用户自定义车控等
（二）车载语音形象设计
1、形象分类：虚拟助手、动画角色、品牌形象、图标形象
2、从场景和情绪去设计语音状态
（三）语音处理的新技术
1、开源语音检索增强 Olive，是一个多智能体助手，具备语义搜索能力，支持语音交互，可以通过语音指令与系统进行交互。
2、DUIX数字人交互平台，开发者可自行接入多方大模型、ASR、TTS实现数字人实时交互，并可以在Android和IOS多终端一键部署。
3、GLM-4-Voice，端对端语音处理、多语言支持、可定制属性、低延迟。
4、VoiceCanvas，多语言语音合成平台，使用AI技术提供高质量的文字转语音服务和语音克隆服务。
5、AudioShake 多人语音分离技术，实现声纹身份区分。
6、Realtime transcription-fastrtc，使用FastRTC处理实时音频流，通过TransFormers使用开源自动语音识别模型。可以分析多轮对话的语音环境。
7、语音实时对话的双流输出方案，系统在生成回复的过程中，同时以流式的方式输出文本和语音。
8、基于deepseek的语音对话系统构建。
9、Nvidia的多语言语音识别和翻译模型介绍。
10、Vosk离线语音识别引擎介绍。
11、Kokoro轻量级语音合成模型介绍
12、Spark-tts和orpheus tts中文及多语言TTS场景的开源技术介绍。
部分实训课件
教授。广东东软学院软件工程大数据专业方向负责人、大数据实验室负责人、广东东软学院计算机专业教师，中国计算机学会高级会员，广东省研究生联合培养基地硕士生导师，全国高校人工智能与大数据创新联盟理事，佛山人工智能学会理事、中国机电工程协会会员。研究方向聚焦自动驾驶系统开发、车机语音交互技术及大数据应用。主持教育部高等学校科学研究中心中国高校产学研创新基金3项，包括《基于深度学习的自动驾驶环境感知算法研究》、《多模态车机语音交互系统关键技术》等。主持广东省高校成果转化中心高校教师特色创新研究项目1项，聚焦智能车机系统开发。主持教育部协同育人项目3项，其中《基于自然语言处理的车机语音交互平台构建》。参与省教育厅及佛山政府项目12项，其中省级项目7项，市级项目5项，涉及自动驾驶数据处理与智能交通系统。主持开发实施企业信息化项目16项，涵盖智能车机语音交互系统、自动驾驶数据处理平台等，推动智能交通领域技术创新。
胡老师 AI大模型算法专家教育背景
2007.9-2010.6 中国科学技术大学 自动化系 硕士
2003.9-2007.7 中国科学技术大学 自动化系 本科
工作经历
2025.3-至今 深思考人工智能科技有限公司 大模型算法高级技术专家
智能硬件玩具情感陪伴智能对话开发（情感话术强化学习PPO，健康专家，个性化健康管理，RAG等）
车机智能座舱端侧大模型部署和量化，以及汽车智能座驾多轮对话管理
手机端侧文本检索图片功能模型训练微调和检索机制开发（多模态，OCR，向量召回等）
CLIP多模态模型手机端侧部署和开发（图片收集，模型离线训练，模型端侧部署）
2023.3-2024.9 青岛海信视像科技软件研发部 高级算法专家 T9
精通熟悉Multi Agent的架构和策略设计，精通AutoGen和Langgraph的框架开发
精通mcp协议以及server原理和设计，以及复杂任务Agent系统的设计
精通熟悉Agent系统的Function Call以及Tools工具调用原理
精通智能电视智能家居大模型Agent智能体技术框架和开发技术
精通智能电视大模型多轮问答意图识别，意图跳转，槽位提取，对话状态管理技术
精通智能家居业务场景下的多轮会话，家庭备忘录，以及各类影视Agent的业务开发
精通智能家居业务电子说明书，各类电子文档的智能问答召回和排序策略和逻辑
大模型RAG检索增强在电视业务智能问答业务场景的架构和策略开发
大模型RAG的样本增强，Embedding的BGE召回微调，以及大模型的Lora微调
熟悉Chatglm和Qwen等模型的SFT等有监督微调经验，提升搜索问答的准确性
熟悉Milvus，Agent，Function Call，多模态，传统NLP算法等技术知识储备
精通智能电视智能家居对话场景Qwen大模型微调SFT技术
智能电视语音传统搜索召回排序相关性的改善用户体验的提升
SpringBoot 的Java框架异步线程池技术高并发接入请求开发，每日接入短视频和新闻请求流量，每日1000万流量
熟悉SpringBoot处理各种并发请求的异步线程池技术，海信短视频服务能力从每日20万提升到300万
使用SpringBoot框架加载离线训练好的Tensorflow模型线上进行实时推理和预测，提升并发能力
2021.11-2022.12 新浪微博广告算法技术部 广告算法高工 L3B
为微博粉丝搜索广告场景增收提升20%的收入，一天增收10万
负责新浪微博APP搜索框的搜索词和广告文本的召回排序工作
负责新浪微博APP搜索框的搜索词和广告文本的相关性算法打分工作。
新浪微博广告文案的关键词提取，关键词挖掘，命名实·体挖掘，标签挖掘。
新浪微博广告文案的多标签，多行业分类算法开发。
新浪微博搜索广告召回后的粗排和精排算法开发和部署。
对搜索点击率预估CTR模型以及各种算法有深入研究和工程化应用
2018.3-2021.07 北京市腾讯科技有限公司 人工智能高级研究员 T10
腾讯新闻后台服务C++的Web服务高并发高流量高性能接入请求开发，每日流量600万
使用C++加载tensorflow模型进行线上实时推理和优化，配合产品运营各类业务逻辑开发
谷歌BERT模型在腾讯搜索策略各个场景的开发与应用
各类NLP算法包括不仅限于文本分类，语义相似度匹配，搜索排序，序列标注等离线模型训练开发，并且快速部署工业级上线生效。
腾讯NLP文本内容理解，多任务模型，时效性文本内容分级，时效性退场机制以及相关接口架构开发。
腾讯新闻事件匹配模型训练，Bert蒸馏模型快速提升预测性能和减少线上资源损耗。
主导腾讯APP用户搜索意图识别卡片阿拉丁排序开发，提升卡片间搜索排序效果
主导腾讯APP搜索语义相关性匹配排序模型开发，提升文档内部排序搜索相关性
腾讯APP新闻各类NER命名实体识别，如电影，音乐等实体名称挖掘训练及部署
2016.4-2018.3 北京市搜狗网络科技有限公司 搜索资深研究员
百度贴吧和百度知道死链率和更新模型的改善以及优化
搜索引擎CNN模型无效页面以及垃圾页面的打压和识别以及展现改善
搜索引擎LSTM模型反黄色页面识别以及互联网页面垃圾问题不符页面分类识别
使用机器学习排序LTR模型对搜狗新链接选取调度进行优化，提升页面选取质量
搜索引擎SIAMASE_LSTM模型识别文题不符垃圾页面判定识别打压
2012.2-2016.3 北京市口袋购物时尚科技有限公司（微店） 搜索系统技术负责人工程师
负责商品检索的整体检索召回和排序架构流程设计和算法实现
负责移动电商导购应用个性化搜索研发，用户商品特征提取
负责移动电商导购应用整体后台搜索系统的检索架构搭建，相关性排序
负责后台检索系统用户检索行为的意图识别，纠错词识别，检索热词推荐框架开发
口袋购物微店店铺商品分类，文本特征选择，降维降噪处理
负责淘宝以及其他B2C电商网站的商品搜录和抓取
优化淘宝商品覆盖率从86%提升到95%，商品的死链率从12%降低到5%
负责淘宝商品以及B2C商品图片的抓取和调度。
负责淘宝以及B2C商品时效性的及时抓取以及调度。
2010.4-2012.2 北京市百度信息技术有限公司 高级搜索研发工程师
负责百度日文以及国际化战略搜索系统核心模块研发
使用机器学习排序LTR模型对百度新链接选取调度进行优化，提升页面选取质量
负责百度日文的博客页面搜索及其日文博客的调度分级改进。
负责国际化搜索引擎系统的链接抓取质量判断指标从20%提高到50%
负责国际化搜索引擎系统的垃圾链接打压降权以及高质量链接的提权调度。
专业技能
熟悉C++，python和Java的各类Web高性能接入框架和业务逻辑开发
熟悉C++，python以及Java加载tensorflow离线训练模型的流程和经验
熟悉大模型微调SFT技术，Agent技术开发，RAG框架体系
精通搜索，推荐和广告的召回，粗排，精排等架构体系和算法
对NLP各项基础任务以及深度学习神经网络等比较熟悉
熟悉Solr/Elasticsearch检索相关性排序框架，熟悉机器学习相关性排序LTR模型和算法模型
精通python web框架tornado，了解反向代理提高并发性能，对Redis，Memcache缓存的
精通使用sklearn机器学习模块，熟悉机器学习降维降噪等PCA，SVD等算法
精通文本处理分类算法，文本聚类算法，文本分类特征选择，特征选取算法
精通开源python爬虫系统scrapy框架，垂直网站的抓取经验非常丰富
大规模海量文件系统的系统存储的开发和读写性能的优化
大规模分布式文章检索系统的搭建和检索
熟悉C及C++语言，awk，shell脚本语言开发
精通php语言mvc模式架构，及其前端网页开发
熟练hadoop平台开发，大数据挖掘
掌握linux GCC及shell编程以及TCP/IP协议,熟悉mysql数据库
掌握面向对象编程技术，数据结构及算法
关于TsingtaoAITsingtaoAI企业实训业务线专注于提供LLM、具身智能、AIGC、智算和数据科学领域的企业实训服务，通过深入业务场景的案例实战和项目式实训，帮助企业应对AI转型中的技术挑战。其实训内容涵盖AI大模型开发、Prompt工程、数据分析与模型优化等最新前沿技术，并结合实际应用场景，如智能制造、医药健康、金融科技和智能驾驶等。通过案例式学习和PBL项目训练，TsingtaoAI能够精准满足企业技术团队的学习需求，提升员工的业务能力和实战水平，实现AI技术的高效落地，为企业创新和生产力提升提供强有力的支持。
同时，TsingtaoAI公司并不是一家单纯的实训机构，我们同样是一家AI产品开发公司，公司核心团队主要也都是由技术和产品人才构成，公司团队大部分成员在大模型时代之前就在从事AI产品相关的工作。公司在过去一年里，为10余家客户开发了AI相关的产品，涵盖医疗、教育、智能制造、人力资源等领域。相信我们在AI产品开发和客户服务的过程所形成的认知和方法论，能对贵司的需求有更深更细的洞察和理解，也能提供更深入业务肌理的“AI能力获得”。