少年游|SIU NIENG IU
搜索
归档
天知
山人码
植物
鱼类
无线电
关于
朋友
项目
叶修齐
天知
山人码
植物
鱼类
无线电
关于
朋友
项目
#BERT

可视化并度量 BERT 的几何结构

IT技术
这篇文章的发现:• BERT 在单独的句法和语义子空间中存储语言特征的证据 ◦ 已发现 2 个表示句法和语义子空间的线性变换 ◦ 这些应该是彼此正交的 ◦ 注意力矩阵似乎包含相当数量的句法信息• 休伊特和曼宁发现的表示几何的数学论证 ◦ 毕达哥拉斯嵌入(平方 嵌入)很可能是对观察到的距离的解释 ◦ 可视化• BERT 具有细粒度的词义几何表示 ◦ 不同的词义构建分离良好的集群 ◦ 在这些集群中,上下文嵌入似乎编码了额外的细粒度含义
2023-1-10
可视化
BERT
词义
上下文
语法
树嵌入
论文阅读
叶修齐
叶修齐
温柔,风色。
最新发布
Lora与气象站
2025-4-26
在六一这天出去走走
2025-4-6
宋代的城市、商业与手工业PPT
2024-9-19
折腾一块搭载RK3566的ARM小板子
2024-6-2
基于迁移学习的低资源福州方言语音识别算法研究
2024-6-2
邮件订阅与RSS
2024-3-7
少年游|SIU NIENG IU | 温柔,风色。

2019-2025 叶修齐. All Rights Reserved.

Powered by NotionNext 4.3.1.

Acceleration with blogCDN .