从采样分析走样

采样的对象：

• 在位置上采样——照片
• 在时间上采样——视频

以下副标题均是在时域上分析。

采样的瑕疵(Artifacts)

Artifacts(Erros/ Mistakes/ Inaccuracies)

• 锯齿
• 摩尔纹
• 车轮效应
• ...

走样的原因

信号频率太快，采样太慢。

反走样大致方向

在采样之前做一个模糊

注意模糊和采样的顺序：先采样后模糊

从频率分析走样（信号处理）

以下副标题全是在频域上分析。

频域(Frequency Domain)

定义：
频域frequency domain 是描述信号在频率方面特性时用到的一种坐标系。
自变量是频率，即横轴是频率，纵轴是该频率信号的幅度，也就是通常说的频谱图。

傅里叶级数和傅里叶变换

定义：任何周期函数都可以用正弦函数和余弦函数构成的无穷级数来表示。

\begin{align} a_{n}&=\frac{1}{\pi}\int_{0}^{2\pi}{f(x)cosnxdx}(n=0,1,\cdots,n)\\ b_{n}&=\frac{1}{\pi}\int_{0}^{2\pi}{f(x)sinnxdx}(n=0,1,\cdots,n)\\ f(x)&=\frac{1}{2}a_{0}+\sum_{n=1}^{\infty}{a_{n}cosnx+b_{n}sinnx} \end{align}

为什么傅里叶变换可以把时域信号变为频域信号？ - 知乎

• 傅里叶变换作用：把信号分解成频率，即从时域转换到频域
• 逆傅里叶变换：从频域转换到时域

频率与采样

产生走样的原因：采样跟不上频率

走样的定义（频率角度）：一样的采样下无法区别出不同的频率的曲线

图像与频域

我们已经知道通过傅里叶变换可以把图像信号从时域变换到频域，上图中左侧是原本的图片，也就是图像的时域信号，经过傅里叶变换变换到频域，得到上图中右侧的图片，右侧中的图片的中心表示低频区域，以这点为中心向周围扩散，越往外频率越高，在不同频率的位置上有多少信息用亮度来表示，以右侧图来说明，中心比较亮，说明图片上大多是低频信息，也有部分高频信息，但相对于低频信息特别少，如果感兴趣可以试一下，比如一张图片经过傅里叶变换，你会发现基本就是右侧图片的样子，也就是说，自然接种拍摄的图片基本都是低频信息会占据相当大的比例，而高频信息只是占了很小一部分，如果你发现右侧图中有一个条水平的直线和竖直一条竖直的直线比较亮，是怎么回事呢，简单说一下图形学中分析信号的时候回认为它通常是周期性重复的，对于不周期性重复（例如一张图片）就认为到了右边界之后重复左边界，左边界和右边界通常通常内容相乘较大，就会产生剧烈的信号变化，也就会产生极其高的高频信号，上边界和下边界同理，所以在经过傅里叶变换的图片中会看到两条水平和垂直的比较亮的线
傅里叶变换可以让我看到一张图片中的信号在不同频率长什么样，通用的说法就是任何信号在不同频率长什么样，也称为频谱。

滤波

定义：过滤某种频率的信号。

高通滤波

右图是高通滤波后的结果，左图是右图逆傅立叶变换后的结果。

• 高通滤波：只通过（剩下）高频信息
• 结果：保留边界
• 解释：边界即与周围发生剧烈颜色突变——高频信号

低通滤波

右图是高通滤波后的结果，左图是右图逆傅立叶变换后的结果。

• 低通滤波：只通过（剩下）低频信息
• 结果：模糊
• 解释：看不到边界——模糊

带通滤波

带通滤波，允许限定频段的波通过，通常是将一张图片经过傅里叶变换得到频域，然后去掉高于限定的最高频和低于限定的最低频信号，如下图中右侧，像一个圈圈一样，经过逆傅里叶变换就可以得到左侧的图像。

卷积

以下副标题从图形学角度讨论。

卷积实际上就是定义一个滤波器(滤波器也被称之为卷积核)，这个滤波器可以是一维数组也可以是二维数组，使用这个滤波器对原来的信号挨个进行处理，然后把处理好的结果写进一个与原数据相同大小的容器中，滤波的本质是将信号与滤波器在时域上进行卷积的操作。

卷积的定义

• 原始信号的任意一个位置，取其周围的平均
• 作用在一个信号上，用一种滤波操作，得到一个结果Result

卷积定理

卷积定理：时域上的卷积=频域上的乘积
做一个卷积的两种方式：

• 图和滤波器直接在时域上做卷积操作（下图上半部分）
• 先把图傅里叶变换，变换到频域上，把滤波器变到频域上，两者相乘；乘完之后再逆傅里叶变换到时域上（下图下半部分）

卷积盒(Box Filter)

卷积盒即低通滤波器。

例：3x3卷积盒

乘以1/9的原因——对处理结果进行归一化：卷积操作时原图像中的9个像素卷积盒中的元素分别相乘再相加，得到的是原来的9倍，会导致图像异常明亮。

卷积盒是低通滤波器的原因：卷积核经过傅里叶变换后，可以发现它大都是低频信号。

时域上变大 → 频域上变小
Why：卷积盒尺寸越大，参与模糊的信息越多，就越模糊，频率越小。

采样与频域

采样(Sampling)：采样就是重复频率上的内容

反走样

走样的本质

采样不够快→中间间隔小→信号混在了一起

反走样的方法

设备上解决（不算反走样）：增加采样率（增加分辨率）——像素点像素小→像素点间隔小→采样率频率高→频谱间隔大

反走样：先模糊再采样

反走样的解释：
使用低通滤波，截去高频信号，这样原信号最大限度保留原有的样子，又缩小间隔，不会发生混叠，进而达到反走样的目的。

MSAA

多重采样 MSAA（ Multi Sampling Anti-Aliasing）：把任何一个点/块都做一个平均，即对把像素分成更小的像素，每个小像素也有各自中心点，根据小像素在三角形内个数得到覆盖率，再通过覆盖率算出这个像素对应的颜色。
MSAA实际上解决的是对图形进行模糊操作的这个过程，他只是通过近似的一种方法进行模糊，只是增加采样点并没有提高屏幕分辨率。

过程：

结果：

FXAA

快速近似抗锯齿 FXAA（Fast Approximate Anti-Aliasing），他是一种和采样无关，在图像层面做的处理，处理过程是先找到三角形的边界，把有锯齿的边界替换为没有锯齿的边界，而且处理起来非常快

TAA

时间抗锯齿 TAA（Temporal Anti-Aliasing），最大的特点就是非常快速，是将静态的图片在时间上进行采样，图像不错MSAA，相连两帧显示的图像是一样，但是可以用相邻两帧同一个像素上不同位置的点来感知是否在三角形内，计算的时候要考虑上一帧感知的结果要被应用进来，相当于是MSAA对应的样本分布在时间上，并且当前这帧没有任何额外的操作

DLSS

深度学习超级采样 DLSS （Deep Learning Super Sampling）,它依赖深度学习，使用低分辨率图像(比如1080p)生成高分辨率图像(8K)，再把8K图像缩回4K，得到抗锯齿图像，以代替传统的时间抗锯齿等技术

可见度/遮挡

在之前的绘制过程中我们没有考虑Z的信息，那么如何画出前后关系以及深度呢？更具体的说每个像素点所对应的可能不止一个三角形面上的点，我们该选择哪个三角形面上的点来显示呢？答案显然易见，离摄像头最近的像素点显示。这里定义z越大离摄像机越远。

对于深度的理解

• 离摄像机越近深度越小，越远深度越大
• 越近越黑，越远越白（参考美术的颜色值：0-1对应黑到白）

Z-Buffer算法

Z-Buffer的核心思想是对每个像素的z进行比较。
Z-Buffer的算法步骤：

1. Z-Buffer算法需要为每个像素点维持一个深度数组记为zbuffer，其每个位置初始值置为无穷大（即离摄像机无穷远）。
2. 随后我们遍历每个三角形面上的每一个像素点[x,y]，如果该像素点的深度值z，小于zbuffer[x,y]中的值，则更新zbuffer[x,y]值为该点深度值z，并同时更新该像素点[x,y]的颜色为该三角形面上的该点的颜色。

于是得到Z-Buffer算法的伪代码：

例：

近像素（小）盖住远像素（大）

• 更小->更新
• 更大->不变
• 相同：深度冲突