APISR:专注于动漫图像的超分辨率 APISR可以提升动漫图像、视频的分辨率 同时还能处理各种图像退化问题,如模糊、噪声、压缩伪影等。 APISR还提供了灵活的放大选项,支持2倍、4倍等不同的放大系数。 经过@ZHOZHO672070大佬测试,效果很不错。 云上T4,256 视频放大4倍,171帧只需50s... <h3>主要功能</h3> <ol> <li><strong>超分辨率增强:</strong>对低质量、低分辨率的动漫图像和视频进行恢复和增强,显著提高其分辨率和图像质量。</li> <li><strong>处理真实世界退化图像:</strong>特别设计算法来处理现实世界中遇到的各种图像退化问题,如模糊、噪声、压缩伪影等,有效改善动漫图像在实际应用场景中的表现。</li> <li><strong>支持多种放大因子:</strong>项目提供了对不同放大因子(如2倍、4倍等)的支持,允许用户根据需要选择合适的放大级别来优化图像的视觉效果。</li> <li><strong>支持动漫视频:</strong>APISR项目不仅支持动漫图片的超分辨率增强,也支持动漫视频。通过提升视频中每一帧的清晰度和质量,整个视频的视觉效果也会相应提升。</li> </ol> <img class=" wp-image-3934 aligncenter" src="https://img.xiaohu.ai/2024/03/workflow-1024x417.jpg" alt="" width="885" height="360" /> <h3 data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9">工作原理</h3> <ol data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9"> <li data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9"> <p data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9"><strong data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9">数据收集和处理</strong>:首先,从动漫视频中挑选出质量高、信息丰富的帧作为训练数据。这一步骤确保了训练模型的数据基础是高质量的。</p> </li> <li data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9"> <p data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9"><strong data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9">训练深度学习模型</strong>:使用挑选出的高质量动漫帧,训练一个深度神经网络模型。这个模型学习如何从低分辨率的图像重建出高分辨率的版本。它会学习动漫图像特有的线条和颜色模式,以及如何处理压缩和噪声等退化因素。</p> </li> <li data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9"> <p data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9"><strong data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9">超分辨率增强</strong>:将低分辨率的动漫图像或视频帧输入到训练好的模型中,模型会输出高分辨率、更清晰的图像或视频帧。</p> </li> <li data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9"> <p data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9"><strong data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9">特定挑战的解决方案</strong>:</p> <ul data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9"> <li data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9">对于手绘线条扭曲和变弱的问题,APISR通过模拟互联网传输中的压缩和使用特定技术增强微弱线条,来恢复线条的清晰度。</li> <li data-immersive-translate-walked="0394650b-22f7-492d-bf1a-254c517725e9">为了减少放大过程中可能出现的颜色伪影,APISR使用了一种特殊的损失函数,同时考虑动漫和真实照片的特征,以保持颜色的自然性和图像的清晰度。</li> </ul> </li> </ol> 项目地址:<a href="https://github.com/Kiteretsu77/APISR" target="_blank" rel="noopener">https://github.com/Kiteretsu77/APISR</a> 在线 Demo:<a href="http://huggingface.co/spaces/HikariDawn/APISR" target="_blank" rel="noopener">http://huggingface.co/spaces/HikariDawn/APISR</a> 论文地址:<a href="https://arxiv.org/abs/2403.01598" target="_blank" rel="noopener">https://arxiv.org/abs/2403.01598</a> <div class="css-175oi2r r-xoduu5" data-immersive-translate-walked="fa022028-a6da-4296-b1c2-1214d3415389"><span class="r-18u37iz" data-immersive-translate-walked="fa022028-a6da-4296-b1c2-1214d3415389"><a class="css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-1loqt21" dir="ltr" role="link" href="https://twitter.com/ZHOZHO672070" data-immersive-translate-walked="fa022028-a6da-4296-b1c2-1214d3415389">@ZHOZHO672070 </a></span><span class="css-1qaijid r-bcqeeo r-qvutc0 r-poiln3" style="font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Oxygen-Sans, Ubuntu, Cantarell, 'Helvetica Neue', sans-serif;" data-immersive-translate-walked="fa022028-a6da-4296-b1c2-1214d3415389">大佬制作的ComfyUI: </span><a class="css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-1loqt21" dir="ltr" style="font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Oxygen-Sans, Ubuntu, Cantarell, 'Helvetica Neue', sans-serif;" role="link" href="https://t.co/wqZaOmDZAL" target="_blank" rel="noopener noreferrer nofollow" data-immersive-translate-walked="fa022028-a6da-4296-b1c2-1214d3415389"><span class="css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-qlhcfr r-qvk6io" aria-hidden="true">https://</span>github.com/ZHO-ZHO-ZHO/Co<span class="css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-qlhcfr r-qvk6io" aria-hidden="true">mfyUI-APISR</span></a></div> <div data-immersive-translate-walked="fa022028-a6da-4296-b1c2-1214d3415389"></div> <div data-immersive-translate-walked="fa022028-a6da-4296-b1c2-1214d3415389"> [video width="1408" height="720" mp4="https://img.xiaohu.ai/2024/03/X2Twitter.com_1770070435117281280720p.mp4"][/video] </div>