如何解决司机 Agent 的安全问题？
李想：
- 所以我们其实从去年年底成立了超级对齐的团队，比如说模型能力很强，但不遵守交通规则，然后模型能力很强，但模型经常去加塞，去在交通拥堵中去加塞，对吧？它做出来一些让人类坐在车上感觉到不安全的行为，对吧？那我觉得这个其实，至于是否让它碰撞，是模型能力的问题，是否产生这些问题，其实是这个价值观，是这个模型要去做的对齐的这方面的。
- 所以这也是刚才我讲的，就是说我们要在做强化，训练的第一个环节，是我们必须把人类的这些规则、习俗、驾驶习惯，对于很多东西的判断，其实变成它整个的要训练的反馈。我觉得这个其实我们必须要做的，所以我们有一个挺大规模的，我们有一个 100 多人的超级对齐团队。
- 因为你能力越强、责任越大，我觉得这是责任，或者你还可以用另外一种方式，我们把超级对齐如果拿一个人举例子的话，模型相当于是这个人的专业能力，然后超级对齐，是这个人的职业性。
- 然后司机 Agent（智能体），包括司机背后的这种记忆能力是如何和使用者建立信任的。
- 所以我们比如说我招一个员工，或者我是否认可一个员工，同样是看他三个，第一个，是看他的专业能力，然后第二是看他的职业性，然后我觉得第三个是看他其实对别人理解和构建信任的能力，比如这三个都很好，我觉得就是最卓越的员工。
308_IO理想汽车新能源汽车
