DC娱乐网
辅导男朋友转算法岗第38天|上下文窗口分割
2024-10-17 13:13:11
奔跑的跳跳
科技
这一类方法通过将上下文分割成段,并用滑动窗口的方法来处理长上下文。今天主要讨论了以下三种技术: [桃子R]PCW(并行上下文窗口):将长上下文分割成段,使用滑动窗口处理,但这种方法可能导致解码注意力分散。 [桃子R]NBCE(朴素贝叶斯上下文扩展):基于贝叶斯公式,通过独立假设处理长上下文,但可能在比较长的文本中输出不准确。 [桃子R]Streaming-LLM(流式语言模型):通过保留注意力汇聚和最近的token处理长文本,但计算复杂度较高。
热门分类
推荐
热榜
军事
NBA
体育
社会
明星八卦
娱乐
财经
科技
汽车
历史
国际
游戏
动漫
公益
搞笑
商业
互联网
数码
国际足球
房产
家居
时尚
科学探索
职场
育儿
股票
教育
影视
情感
热点
中国军情
武器
中国南海
中国足球
亚洲杯
科比
综合体育
CBA
投资
楼市
大咖秀
外汇
创业
风口
SUV
豪车
概念车
优惠
新能源
美国
欧洲
朝日韩
俄罗斯
孕期
街拍
恋爱攻略
婚姻
正能量