项目介绍:共享编码器先用一个卷积层从当前视频帧、前一帧语义分割图和传输率图中提取出浅层特征信息,再使用编码器进一步提取深度特征信息。语义分割解码器和传输率解码器具有相似的网络结构,都先进行解码预再通过卷积操作,最后分别预测语义分割图和传输率图。为了缓解由编解码器中下/上采样导致的信息损失,我们使用长程跳连(Long Skip Connection)将共享编码器中的信息引流至语义分割解码器和传输率解码器,以充分利用卷积层提取的深度特征信息。此外,为了提高语义分割解码器和传输率解码器的预测精度,还使用短程跳连(Short Skip Connection)将这两种解码器关联起来。更进一步,在获得当前帧传输率图的精确估计以后,通过反解退化视频形成模型复原出当前视频帧的清晰场景。