Среднее увеличение скорости передачи BD на 1,9–2,8 % для низкой задержки, увеличение скорости передачи BD в среднем на 1,6–2,6 % для произвольного доступа

В этом материале представлена ​​IFCNN Корейского передового института науки и технологий (KAIST). Внутриконтурная фильтрация на основе сверточной нейронной сети (CNN) изобретена для шумоподавления/деблокирования для дальнейшего повышения эффективности кодирования. Это статья из семинара IVMSP 2016, на которую ссылаются более 50 раз. (Сик-Хо Цанг @ Medium)

Контур

  1. Предлагаемый IFCNN
  2. Экспериментальные результаты

1. Предлагаемая IFCNN

  • Вместо того, чтобы помещать на выходе реконструированное изображение/видео, IFCNN помещается внутрь цикла кодирования. Вот почему это называется внутрипетлевой CNN.
  • Как показано выше, Sample Adaptive Offset (SAO) заменен на IFCNN.
  • Для включения/выключения IFCNN требуется однобитовая сигнализация.

  • IFCNN — это очень поверхностная CNN, как показано выше.
  • W1 имеет размер 9×9×64, а B1 — 64-мерный вектор.
  • W2 имеет размер 64×3×3×32, а B2 — 32-мерный вектор.

  • W3 имеет размер 32×5×5×1, а B3 — одномерный вектор.
  • И ReLU не применяется.

  • Среднеквадратическая ошибка (MSE) используется в качестве функции потерь L для обучения.

2. Экспериментальные результаты

  • Среднее увеличение доли BD на 4,8% для конфигурации All Intra.
  • Среднее 1,9% — 2,8% увеличение скорости BD для конфигурации Low Delay P.
  • Среднее 1,6% — 2,6% увеличение доли BD для конфигурации Random Access.
  • При использовании функции vl_nnconv() в MatConvNet требуется 0,4 секунды на один кадр в последовательности 416×240 и 1,2 секунды на один кадр в последовательности 832×480 для структура IFCNN на ПК с ЦП 3 ГГц и ОЗУ 32 ГБ.
  • Некоторые визуализации:

Ссылка

[2016 IVMSP Workshop] [IFCNN]
Циклическая фильтрация на основе CNN для повышения эффективности кодирования

Мои предыдущие обзоры

Классификация изображений[LeNet] [AlexNet] [Maxout] [NIN] [ZFNet] [VGGNet] [Highway] [SPPNet] [ PReLU-Net] [STN] [DeepImage] [SqueezeNet] [GoogLeNet/Inception-v1] [BN-Inception/Inception-v2] [Inception-v3] [ Inception-v4] [Xception] [MobileNetV1] [ResNet] [ResNet до активации] [RiR] [RoR] [Стохастическая глубина] [WRN] [ Shake-Shake] [FractalNet] [Trimps-Soushen] [PolyNet] [ResNeXt] [DenseNet] [PyramidNet] [DRN] [DPN] [ Сеть остаточного внимания] [DMRNet / DFN-MR] [IGCNet / IGCV1] [MSDNet] [ShuffleNet V1] [SENet] [NASNet] [MobileNetV2]

Обнаружение объектов[OverFeat] [R-CNN] [Fast R-CNN] [Faster R-CNN] [MR-CNN & S-CNN] [ DeepID-Net] [CRAFT] [R-FCN] [ION] [MultiPathNet] [NoC] [Hikvision] [GBD-Net / GBD-v1 & GBD-v2 ] [G-RMI] [TDM] [SSD] [DSSD] [YOLOv1] [YOLOv2 / YOLO9000] [YOLOv3] [FPN] [RetinaNet ] [DCN]

Семантическая сегментация[FCN] [DeconvNet] [DeepLabv1 & DeepLabv2] [CRF-RNN] [SegNet] [ParseNet] [DilatedNet] [ DRN] [RefineNet] [GCN] [PSPNet] [DeepLabv3] [LC] [FC-DenseNet] [IDW-CNN] [SDN]

Сегментация биомедицинских изображений[CUMedVision1] [CUMedVision2 / DCAN] [U-Net] [CFS-FCN] [U-Net+ResNet] [MultiChannel] [V-Net] [3D U-Net] [M²FCN] [SA] [QSA+QNT] [3D U-Net+ResNet]

Сегментация экземпляров[SDS] [Гиперстолбец] [DeepMask] [SharpMask] [MultiPathNet] [MNC] [InstanceFCN] [FCIS]

Суперразрешение[SRCNN] [FSRCNN] [VDSR] [ESPCN] [RED-Net] [DRCN] [DRRN] [LapSRN & MS-LapSRN] [SRDenseNet]

Оценка позы человека[DeepPose] [Tompson NIPS’14] [Tompson CVPR’15] [CPM]

Постобработка кодеков[ARCNN] [Lin DCC’16] [IFCNN] [Li ICME’17]