大家好，今天来为大家分享大模型还原徐克经典武侠片全失，画质改为4K还原林青霞40年前的绝世美颜的一些知识点，和的问题解析，大家要是都明白，那么可以忽略，如果不太清楚的话可以看看本篇文章，相信很大概率可以解决您的问题，接下来我们就一起来看看吧！
剑眉星目，衣带飘逸，在仙乐的陪伴下，传闻中的瑶池仙堡城主飞出闭关：
它浑身长满五颜六色的羽毛，酷似敦煌壁画中飞翔的天空。可能看过林青霞的观众不多。
这段经典的鬼戏来自《蜀山：新蜀山剑侠》，由徐克导演于1983年拍摄。
林青霞第一部武打作品。在传统武术和功夫电影的核心，导演注入了无拘无束的想象力。这也是香港电影首次邀请好莱坞特效团队支持特技拍摄。很多特效制作在当时都是非常前卫、大胆的。
以《蜀山：新蜀山剑侠》为代表的香港老电影，承载着很多人的童年记忆，成为一代人心目中难以超越的珍贵影像。
然而在我的记忆中，这些老港片常常出现模糊、模糊、掉帧等画质问题。即使我们今天打开经典作品重新审视，一些作品的“画质全损”也会影响我们对其艺术价值和审美价值的欣赏。
为此，
抖音联合火山引擎于2023年启动“经典港片修复计划”，宣布一年内修复100部经典港片。
利用最新科技，观众可以看到香港电影最原始、最清晰的一面。
该计划在8月16日举行的“重生时光——经典港片修复发布会”上正式启动。
首批上映的香港老片包括《武状元苏乞儿》、《A 计划》、《蜀山：新蜀山剑侠》等22部作品。
基于尖端AI技术的加持，一系列20世纪80年代、90年代的香港老电影得以复活。以《蜀山：新蜀山剑侠》 4K版本为例
女神林青霞的美貌已经完全恢复了：
用于维修。
修复后。
值得一提的是，这是AIGC的视觉模型首次应用于香港老电影的修复。字节跳动视频架构负责人、火山引擎视频云架构技术总监王悦表示，基于超强的生成能力和大规模视觉模型丰富的先验知识，修复的效果和效率得到了大幅提升。
还原一部40年前的香港电影有多难？
如今，要找到播放香港老电影的片源并不难，但这些视频的质量并不像我们经常观看的高清视频那么人性化。
受录制设备、存储方式等限制，一些老港片往往画面模糊、胶片噪点较多、分辨率较低。观众得到的直观感受是“高度模糊”、“黑暗”、“不丝滑”：
另外，很多老香港武侠片由于技术原因无法完全去除威亚的痕迹。以《蜀山：新蜀山剑侠》为例。这部作品的武打成分非常多，观众在观看过程中很容易找到“线索”：
近年来，此类老电影的修复工作越来越多。一般来说，老电影的修复主要分为三个步骤：传统修复、算法修复和艺术修复。首先要清理胶片表面的灰尘和污垢，然后进行修复，然后将胶片每一帧的内容转换成数字信息。薄膜上的划痕、污渍和其他问题应清除。图片必须由修复师逐帧处理，最后还要调整图片的颜色。
一部影片可能包含数十万帧，使得手动修复成本高昂且耗时，使得大规模修复变得困难。这个过程大约需要几个月的时间，而数字化修复过程是最繁琐、枯燥、耗时的。
近年来，越来越多的AI技术被用于修复老电影，也产生了令人惊叹的效果。在本次“经典影像修复项目”中，火山引擎团队将传统的手工修复与最新的AI算法修复相结合，不仅显着提高了影片修复的效率，还进一步优化了影片的图像质量。
/640','描述：'});
在此过程中，火山引擎与中国电影资料馆进行了多轮沟通和讨论。经过不断测试和反复优化，达到了算法服务艺术的理想效果。
特别是火山引擎多媒体实验室基于多种自研的画质提升能力，首次将AIGC视觉大模型“稳定扩散”应用到老电影修复场景中。
老电影修复，使用大型生成人工智能模型。我们所知道的“稳定扩散”是一种文本到图像的生成模型。那么它是如何用于视频修复的呢？效果如何？
火山引擎多媒体实验室研究员赵世杰表示，除了通过文字提示生成图像、视频内容外，相关算法还可以应用于提示为图像或视频的场景，从而生成新的图像或视频。待生产。通过图像或视频进行视频。视频逐帧修复过程与图像修复类似，该方法也是在图像修复的基础上发展起来的。因此，这些算法可以应用于将旧视频转换为高清视频或修复和提高视频质量。
与以往的AI修复方法相比，
使用AIGC视觉大模型还具有两大优势：更强大的生成能力和大规模先验知识。
“扩散模式”的流行，给发电领域带来了新的视野。在更广泛的数据规模、更大的模型参数和更丰富的计算能力的支持下，StableDiffusion等大规模AIGC模型展现出了远超以往算法的生成能力，生成的内容纹理细节更加真实且高度灵活。大型模型的好处来自数据和模型两个方面。
从先验知识来看，在通用大规模模型成为主流之前，模型往往会针对特定任务构建特定的数据集，然后使用特定的数据集训练特定的端到端模型，这不可避免地会导致模型预测能力不足的问题。测试信息。模型从数据集中提取的先验信息是任务模型能否取得高性能的关键。对于修复香港老电影等任务，常见场景数量有限，退化模型数量众多且未知，数据集的适配难度很大。因此，需要一种能够学习有关大数据集的广泛先验知识的生成模型。
在模型层面，基于稳定扩散的大规模模型具有非常强大的信息结构化能力。在学习了巨大的数据对后，他们可以从中提取大量有用的知识并将其“存储”在模型参数中以供下游使用。老胶片的修复工作提供了丰富的初步信息。
赵世杰还表示，目前开源的大模型StableDiffusion在修复港片场景时会遇到很多问题。在实际应用过程中，团队对模型进行了多项针对性优化：
1.发电能力优化：现有的基于扩散模型的解决方案在某些场景下也可能表现不稳定，这体现在伪影、虚假纹理或闪烁的产生上。一方面，团队在迭代过程中增加了模型输出内容的稳定性，并通过在生成过程中检查模型的边界条件和优化随机种子来照顾输出内容的主观影响。另一方面，团队对生成空间进行了分析，剥离了大型模型复杂庞大的生成空间，强化了生成质量较高的空间，弱化了生成较差的空间内容。
2.视频场景优化：
稳定扩散等大规模视觉模型是基于单帧图像或视频进行训练和应用的。连续视频序列通常会遇到性能和稳定性问题。为了解决这个问题，团队使用了多种技术手段，包括设计时间自动编码器、光流特征对齐和时间条件划分器，以便大型模型可以使用前一帧和下一帧的信息。修复过程中生成的内容暂时稳定。
3、效率优化：
现有的扩散模型需要对计算结果进行迭代去噪，这使得运算速度非常慢并且需要非常高的计算能力。因此，团队对采样推理步骤的数量进行了蒸馏优化，以显着减少冗余采样步骤的数量。此外，对于老电影恢复场景的高分辨率要求，应用并行性是一个非常实用的想法。团队设计了分块推理结构，不仅保证了各个分块算法的稳定性，还提高了算法的并行性，使大型模型的整体推理效率提高了50倍以上。
火山引擎有哪些修复老电影的技术资源？
此外，火山引擎团队集结了丰富的AI修复技术，针对旧膜修复中常见的四大问题：清晰度、平滑度、色彩和缺陷，有效加快修复进程。
首先，从
亮度
针对这个项目，团队开发了多种AI算法，如降噪、解压、模糊、超分辨率和人像增强等。针对老片中噪声、压缩、模糊等图像质量的混合限制，通过智能图像质量问题分析和自适应决策处理算法，可以达到减少胶片伪影、消除模糊、提高图像质量等效果。得以实现。解决。
针对以人像为中心的场景，优化的人像增强模块提高了面部特征的清晰度，同时保留了皮肤纹理细节，且不破坏胶片纹理。
修复前（左）、修复后（右）。
其次，是的
流畅度
对于这个项目，团队开发了自己的智能帧插值算法。通过估计前后帧内容的光流，根据光流信息将前后帧的像素转换为中间帧，然后整合生成中间帧，从而提高视频帧率视频帧速率降低。看视频帧率有卡顿的感觉。
尤其是《蜀山：新蜀山剑侠》的很多武打场景，帧间运动较大。当运动范围超过光流模型的感受野时，会导致光流估计不准确，帧的像素转换不准确。前框、后框到中框。产生涂片。
为了解决这个问题，团队在计算光流时自适应地确定下采样倍数，将下采样分辨率后的图像作为输入，获得下采样光流，然后上采样回到原始分辨率图像之前的原始分辨率。像素变换，允许光流模型以更少的计算处理更大的运动。
修复前（左）、修复后（右）。
对于武术中一些过于复杂的动作，通过插帧来调整复杂动作的精度不够，导致插帧结果不准确、出现伪影，给用户带来不好的体验。在这种情况下，请尽量避免。对于帧插入，需要一个评估方法来判断是否适合帧插入。我们对帧插值的评估主要分析三个方面：图像差异、帧间运动以及模型预测中帧插值的可靠性。在这三种大运动情况下，帧间插值的复杂度太大，并且模型预测了太多的插值区域。避免使用帧插值模型输出并使用相邻帧作为插值帧。
下图展示了帧插值的可靠性预测。插值帧中的黑色置信区域对应于插值不良的区域：
比从
颜色
在互联网上，团队构建了一系列与色彩相关的处理算法，包括色彩增强、偏色校正、SDR2HDR等能力，可以解决老片的模糊和偏色问题，让老片更加丰富多彩、更好奇。新的。
由于早期摄影设备能力较弱，存储介质老化，经常遇到偏色、动态范围低等问题，导致胶片畸变严重。有必要使用色彩校正/增强算法来修复失真并使其恢复生机。对于色彩校正算法来说，难点在于白点的估计。灰度世界/完美反射等传统算法很难准确估计老电影场景中较为复杂的色偏，而基于深度学习的色偏校正算法则存在上限。较高，但帧间稳定性较差，不同帧的校正效果差异较大。
为了有效解决上述问题，团队首先对电影场景进行分割，并使用深度学习解决方案逐帧学习色彩校正矩阵。同时，质量检测算法剔除效果较差的色彩校正矩阵，然后根据场景得到剩余的色彩校正矩阵。平均：同一场景采用同一套色彩校正矩阵进行处理，可获得稳定的校正结果。
恢复前。
修复后。
最后，从
缺少
从表面上看，老港片常见的缺陷包括线性划痕、雪花噪声、块状斑点等。团队建议的解决方案包括：对于较小的雪花交叉点，采用传统的时间运动补偿去噪算法，利用相邻帧信息进行区分修复规则纹理和随机噪点，去除大部分噪点，减少纹理细节。的损坏。
基于深度学习的划痕检测和修复模块，适用于线性和块状划痕。通过生成任意长度的直线和不规则斑块掩模来模拟划痕损坏，将其添加到无划痕视频数据中以获得匹配的数据对。使用该数据集来训练网络，可以修复大多数线性划痕和较小的块状缺陷。
针对图像损伤较大的块状斑点，采用基于生成的图像着色算法，通过局部纹理信息、全局纹理信息和颜色纹理信息，同时利用时域，优化生成图像内容与源图像的相似度。防止修复图像在时域中闪烁的算法。
技术和开放的价值
很多人可能会好奇：有没有机会把如此复杂的AI修复方案拼凑起来并向大众公开，让普通人可以轻松地将“画质全损”转为高清视频？
VolcanoEngine团队很早就开始研究这些相关功能。在火山引擎视频云中，“智能处理”是团队根据多年智能多媒体处理的实践经验，提炼出的完整的视频前后处理和增强技术产品。
用户评论
哇，这也太神奇了吧！我一直喜欢徐克导演的武侠片，画面风格太独特了，现在高清化了简直太满足了。尤其还是修复回当年林青霞的美貌，这可是很多人都怀念的东西啊！
有6位网友表示赞同！
之前看过这部电影的时候，画质确实很差影响了观感，没想到现在这么厉害的技术能把它还原成4K，真是让人感叹科技进步啊！希望以后还可以修复其他经典电影。
有15位网友表示赞同！
这技术感觉太牛了吧！如果能让所有老电影都变成这样，那该有多棒! 想当年看一遍《青霞》的感觉就变得更深刻了，画面清晰还能感受到年代的韵味。
有15位网友表示赞同！
虽然我挺喜欢复古风格的电影画面，但说真的高清确实更好看啊。修复后的画质也提升了整个电影的观赏体验，这下子可以好好欣赏一下那些经典镜头和演员的美了！
有18位网友表示赞同！
我觉得这种修复技术其实还是有争议的，原片的复古质感是时代的印記，把它完全还原成现在高清的画面，会不会反而失去了一些独特的魅力呢？
有18位网友表示赞同！
这个大模型真的厉害！能把它修补成这样，可见AI技术的强大，希望以后可以应用到更多领域，为我们带来更多的惊喜。
有20位网友表示赞同！
修复成4K画面真的可以让林青霞的美貌再次闪耀。虽然电影时代不同，但经典永远是经典！
有20位网友表示赞同！
我觉得这种技术在一定程度上是一种商业手段吧？毕竟现在很多年轻人根本不接触那些老电影，用这种噱头吸引他们看可能更实用一点。
有14位网友表示赞同！
大模型修复确实可以改善画质，但对于故事本身和演员的表演来说，我认为技术的帮助有限。还是要靠剧本、导演和演员的力量才能拍出真正让人感动和深刻的电影。
有5位网友表示赞同！
不知道大家有没有注意到，画面虽然清晰了，但是有些特效还是显得比较粗糙，对比现在的特效确实有差距。看来科技进步不仅仅是画质的问题，还要涵盖各个方面。
有14位网友表示赞同！
这篇文章提到的很多技术细节我都不太懂，但我觉得这个大模型修复徐克武侠片的举措很有意义！希望以后能够看到更多经典电影的复原和改进，让年轻一代也能感受到电影的力量。
有11位网友表示赞同！
说实话，我感觉有些老电影的画质确实需要调整一下，因为那些年代后期特效或者制作手法看起来现在很难接受，高清效果可以改善观受者的体验。
有19位网友表示赞同！
但我认为科技发展应该注重传承和尊重原作品的美学价值。过度修复反而可能破坏了经典影视片的独特魅力，我希望这些技术应用得更加谨慎！
有13位网友表示赞同！
我还是比较喜欢原版的画面风格，毕竟它们承载着属于那一时代的记忆和情感。现在高清化虽然可以看清楚很多细节，但有些韵味却可能会随之消失，让人感觉缺少了一份格調呢！
有14位网友表示赞同！
这部电影的剪辑节奏和剧情设定一直都很棒，高清画质的提升只是锦上添花了，更重要的是让我再次感受到了徐克导演独特的艺术风格！
有19位网友表示赞同！
对于很多影迷来说，看到当年经典电影以全新的面貌呈現出来肯定会更有感动和共鸣。我希望未来能够有更多这样的修复计划，让我们重新欣赏那些珍贵的影像瑰宝。
有13位网友表示赞同！
这个大模型的技术确实很厉害，但我觉得科技的目的是为了更好地服务人类文明，而不是单纯追求技术革新本身。希望这些技术能被应用到解决更实际的问题上！
有20位网友表示赞同！