图像的低秩近似与Eckart–Young–Mirsky定理
Published:
引子
Hello 大家好呀，今天我们从理论的角度来分析一下为什么奇异值分解有助于降噪。
Posts by Tags
SVD
adversarial training
InfoBert:从信息瓶颈视角看对抗学习
Published:
大家好呀，又到周末了，又到可以不用跑代码到处瞎逛逛的时间了。今天我们一起来看一篇文章，发表在ICLR2021的InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective。
domain adaptation
基于Domain Scatter的领域自适应/领域泛化 理论上界
Published:
大家好，今天我们再来看一个bound的证明。（没错我就是bound收集狂人，笑）今天这个bound来自于一篇15年的TPAMI文章，名字叫做《Scatter Component Analysis: A Unifified Framework for Domain Adaptation and Domain Generalization》。
functional analysis
Information Bottleneck
Published:
写在前面：写作本文时我还没有学习泛函求导的法则，泛函的链式法则与下文用到的普通求导的链式法则有些许不同，以下内容可能有错误之处，请审慎看待。
high-dim stat
球面投影
Published:
| 今天在看证明的时候看到一个细节，$d$维球面$S^{d-1}$上均匀分布的点$\mathbf{x}$，向任意一个自然基$\mathbf{e_i}=(0,0,…,1,…,0)$做投影$\mathbf{x}^{\top}\mathbf{e_i}$，问投影绝对值的期望$\mathbb{E}_{\mathbf{x}\sim \mathbf{U}(S^{d-1})}( | \mathbf{x}^{\top}\mathbf{e_i} | )$是多少。 |
information bottlenech
Information Bottleneck
Published:
写在前面：写作本文时我还没有学习泛函求导的法则，泛函的链式法则与下文用到的普通求导的链式法则有些许不同，以下内容可能有错误之处，请审慎看待。
information bottleneck theory
InfoBert:从信息瓶颈视角看对抗学习
Published:
大家好呀，又到周末了，又到可以不用跑代码到处瞎逛逛的时间了。今天我们一起来看一篇文章，发表在ICLR2021的InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective。
linear algebra
图像的低秩近似与Eckart–Young–Mirsky定理
Published:
引子
Hello 大家好呀，今天我们从理论的角度来分析一下为什么奇异值分解有助于降噪。
nlp
InfoBert:从信息瓶颈视角看对抗学习
Published:
大家好呀，又到周末了，又到可以不用跑代码到处瞎逛逛的时间了。今天我们一起来看一篇文章，发表在ICLR2021的InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective。
paper reading
InfoBert:从信息瓶颈视角看对抗学习
Published:
大家好呀，又到周末了，又到可以不用跑代码到处瞎逛逛的时间了。今天我们一起来看一篇文章，发表在ICLR2021的InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective。
reproduction of a classical theorem
图像的低秩近似与Eckart–Young–Mirsky定理
Published:
引子
Hello 大家好呀，今天我们从理论的角度来分析一下为什么奇异值分解有助于降噪。
Information Bottleneck
Published:
写在前面：写作本文时我还没有学习泛函求导的法则，泛函的链式法则与下文用到的普通求导的链式法则有些许不同，以下内容可能有错误之处，请审慎看待。
simulation
球面投影
Published:
| 今天在看证明的时候看到一个细节，$d$维球面$S^{d-1}$上均匀分布的点$\mathbf{x}$，向任意一个自然基$\mathbf{e_i}=(0,0,…,1,…,0)$做投影$\mathbf{x}^{\top}\mathbf{e_i}$，问投影绝对值的期望$\mathbb{E}_{\mathbf{x}\sim \mathbf{U}(S^{d-1})}( | \mathbf{x}^{\top}\mathbf{e_i} | )$是多少。 |
statistical distribution
球面投影
Published:
| 今天在看证明的时候看到一个细节，$d$维球面$S^{d-1}$上均匀分布的点$\mathbf{x}$，向任意一个自然基$\mathbf{e_i}=(0,0,…,1,…,0)$做投影$\mathbf{x}^{\top}\mathbf{e_i}$，问投影绝对值的期望$\mathbb{E}_{\mathbf{x}\sim \mathbf{U}(S^{d-1})}( | \mathbf{x}^{\top}\mathbf{e_i} | )$是多少。 |
theoretical blogs
基于Domain Scatter的领域自适应/领域泛化 理论上界
Published:
大家好，今天我们再来看一个bound的证明。（没错我就是bound收集狂人，笑）今天这个bound来自于一篇15年的TPAMI文章，名字叫做《Scatter Component Analysis: A Unifified Framework for Domain Adaptation and Domain Generalization》。