米兰·(milan)中国官方网站-为了帮助乌克兰分析情报，伯克利团队用何恺明提出的MAE神经网络加速雷达图像分析
编译 | Ailleurs
编纂 | 陈彩娴
谍报阐发是一项主要事情，军事战略家、研究职员及记者，都依靠谍报阐发来作出决议计划、揭破违背国际和谈的举动，并向公家展示战役的严格实际。卫星图象于谍报阐发事情中饰演了主要的信息来历脚色。
然而，于乌克兰，因为年夜量的云层笼罩及频仍的夜间袭击，各类情势的卫星图象都没法捕获地面信息。好动静是，合成孔径雷达（Synthetic Aperture Radar，SAR）图象可以穿透云层，可是需要颠末专门培训的职员来对于其图象举行解读，如能将这项繁琐的使命主动化，即可以实实际时动态不雅察。而今朝基在典型RGB图象开发的计较机视觉要领尚不克不及很好地解读SAR图象。
是以，相干研究者认为，当下改良针对于SAR图象的要领、代码库、数据集及预练习模子的获取及可用性，将有助在乌克兰谍报机构、研究职员及记者的事情。
近日，伯克利人工智能研究中央发布了一项新研究，旨于解决SAR图象的利用受限问题。Ritwik Gupta、Colorado Reed、Anja Rohrbach及Trevor Darrell等人提出一种基线要领及预练习模子，可以或许令人们于做下流分类、语义支解及转变检测等使命时，利便地交换利用RGB及SAR图象。
图1: SEVIRI仪器在2022年2月28日-3月1日于乌克兰上空丈量的气团（云层）。来历：EUMETSAT
1呆板进修与遥感咱们糊口于一个瞬息万变的世界，履历着天然灾难、社会动荡、战役以和各类杂乱事务，它们于地球外貌留下了不成猜测的且凡是是永世性的陈迹。理解咱们所处情况的变化一直都是一个汗青性难题。勘察员们被派去摸索新的实际景况 ，他们分离的查询拜访发明常常被混乱地整合，组成实际的一个来历。从法国摄影师纳达尔（Nadar）拍下第一张航照相片，到前苏联发射的人类第一颗人造卫星“斯普特尼克1号”(Sputnik 1）的无线电旌旗灯号被用来阐发电离层，连结警悟状况始终都是人类的方针。
警悟，或者者说监测，贯串着人类几千年汗青，与任何东西同样，它也一直是一把双刃剑。从汗青上看，没有制衡的监测对于社会是有害的。相反，适量且尽责的监测则使咱们可以或许相识有关世界的深刻本相，进而于科学及人性主义范畴取患上前进。此刻，跟着于轨卫星数目的增加，咱们对于在情况的熟悉险些天天都于更新。已往，咱们只把握很少的信息，而今天，咱们已经经拥有了跨越咱们所可以或许成心义地从中提取常识的规模的年夜量数据。贮存及理解这些数据中所含信息是一项日趋紧急的工程挑战。
因为天天都有数百TB的数据从卫星下行传送到数据中央，经由过程人工处置惩罚从这些数据中获取常识及可履行建议，已经经成为一项没法完成的使命。最广泛利用的遥感数据情势是光电 （electro-optical，EO）卫星图象，这类图象很常见，任何利用过google舆图或者近似测绘软件的人都跟光电图象“打过交道”。
应用呆板进修的光电遥感图象处置惩罚技能已经被广泛运用在科学及贸易范畴。从改善降水猜测，到经由过程辨认砖窑来对于人类奴隶制做循证阐发（砖窑是现代奴隶制的典型发生场合），再到对于整个都会举行分类辨认以改善交通线路选择，呆板进修于光电图象上的产出已经经融入了人类社会的各个方面。
图2: 基辅地域的超高分辩率光电卫星图象，由Maxar公司在2022年2月28日拍摄。图象显示，横跨斯特雷镇河的一座桥好像已经被捣毁。
提供光电图象的经常使用卫星星座包括美国地质查询拜访局运营的陆地卫星系列（Landsat），及欧洲航天局运营的哥白尼尖兵2号（Copernicus Sentinel-2）。这些星座提供10-60米分辩率的图象，只管这对于在很多场景来讲已经经充足用了，但它们没法不雅察到更邃密的细节。
2光电卫星图象的进步前辈性与局限性于已往几年里，富厚的贸易资源带来了超高分辩率的光电图象。Planet、Maxar、Airbus等公司天天都于对于整个地球举行成像，他们提供了极其切确的图象，分辩率介在0.3-2.0米之间，而且图象重访率很高。
图3: Maxar公司的超高分辩率光电图象示例，显示了浮式出产及贮存，卸载装配，以和一艘油轮。
高分辩率图象提供的更高分辩率可以或许撑持一系列的下流利用场景。好比，可以于更邃密的标准上检测泥土侵蚀，还有可以于灾难以后对于修建物的毁坏举行分类。呆板进修要领必需要顺应超高分辩率卫星图象。跟着敏锐度的提高，像素的数目及可辨认的种别数目已经经增长了几个数目级。计较机视觉研究对于此赐与的回应包括，降低计较成本以进修卫星图象的有用暗示，成立要领来减轻标注职员的事情承担，设计年夜型软件框架，来利便计较机视觉从业者对于富厚的图象来历举行处置惩罚。
凡是来讲，现有效在其它非航空RGB图象的计较机视觉要领，可以或许很好迁徙到卫星图象上来，这使患上提供高精度成果的贸易化超高分辩率图象可以或许当即被投入利用。
然而，只管高分辩率光电图象带来云云多的益处，它仍具备必然的局限性。
对于在战役及天然灾难等高度杂乱及伤害的环境，连续而且靠得住的地面不雅测是至关主要的。遗憾的是，于这一点上，光电图象没法满意人们的全数监测需求。光电图象只能于白日探测到光源，而实际环境是，于任何一个时间，都有靠近2/3的地面被云层笼罩。咱们必需思量云层问题，不然想要知道地面上发生了甚么主要的工作时，这类地面上的拦阻就成为了一个年夜贫苦。为相识决这个问题，呆板进修要领试图去移除了图象上的云层，来猜测于无云的环境下不雅测方针会是甚么样，可是这个历程中所丢掉的信息基本上是不成恢复的。
3SAR：夜间也能连续监测地面合成孔径雷达（SAR）图象是一种自动遥感，卫星将微波雷达波脉冲向下传输到地球外貌，这些雷达波从地面及地面的任何物体上反射回卫星。经由过程于时间及空间维度大将这些脉冲处置惩罚形成SAR图象，此中的每个像素都是由差别雷达散射的叠加。
雷达波能穿透云层，并且因为卫星连续地孕育发生雷达波，以是纵然于夜间也能照亮地球外貌。合成孔径雷达用途广泛，可用在估测地表粗拙度、绘制年夜面积洪水规模，以和监测受掩护水域中是否有不法渔船出没。
今朝，有多个SAR卫星星座于运行。哥白尼尖兵1号星座向人们提供分辩率于10-80米之间的图象（最多见的是10米分辩率图象）。年夜大都贸易SAR提供商，如芬兰的ICEYE的公司及美国的Capella Space公司，可以或许提供分辩率于0.5米的图象。跟着卫星星座数目的增加及当局法例的成长，于行将推出的发射项目中，其它贸易SAR提供商的方针是建造出分辩率于0.5米如下且具备高重访率的图象。
图4: Capella Space公司提供的乌克兰-白俄罗斯界限上的超高分辩率合成孔径雷达图象
虽然合成孔径雷达图象乍一看可能与光电图象很是相似，但其物理道理却年夜不不异，这致使图象产出中呈现了很多有趣的效应，这些效应多是违背直觉的，而且与现代计较机视觉不相容。有三种常见的效应：极化效应（polarization），叠掩效应（layover），多路径效应（multi-path）。
极化效应
图5: 来自尖兵1号（Sentinel-1）辐射丈量地形校订图象，于乌克兰第聂伯罗（Dnipro）的统一区域，VH极化（左）及VV极化（右）显示出差异。雷达于响应的局部区域的回波可能差别。
SAR卫星上的雷达天线常常发射极化的雷达波。极化标的目的是波电场的标的目的。地面上的物体对于雷达波的差别极化赐与差别的反映 。是以，SAR卫星凡是以双极化或者四极化模式运行，于程度（H）或者垂直（V）标的目的上流传极化波，从而孕育发生HH、HV、VH及VV四种波段。以是，只管咱们可以将此与电光图象中的RGB波段举行对于比，但其物理学道理是差别的。
叠掩效应
图6: Capella公司的超高分辩率SAR图象示例。运动场的上部好像与其后方的泊车场堆叠。
叠掩效应是指雷达波束先达到间隔更近的方针物体顶部，后到达更远的方针物体底部，于是顶部先成像，致使物体的顶部与底部图象形成堆叠。当物体尤其高时，这类环境就会发生。从视觉上看，高层修建出现出侧卧状，而山脉看起来则是山岳与基底订交。
多路径效应
图7: 斜向SAR图象中桥梁的多径效应示例
当雷达波从地面上的物体反射，并于返回 SAR 传感器以前发生屡次反弹时，就会发生多路径效应。多径效应会致使方针物体于天生的图象中以各类变换情势呈现。这类效应于 SAR 图象中随处可见，但于都会地域、丛林及其他密集情况中尤为较着。
基在传统RGB图象的现有计较机视觉要领并未思量到上述这些效应。于光电卫星图象上练习的物体检测器，预设一个特定物体只会呈现一次，或者者该物体于差别的情况中看起来相对于相似，而不是可能与周围的物体出现镜像、分离或者者交叠状况。遮挡的素质及光电图象中遮挡假定的视觉道理，不克不及直接应用到SAR图象上来。
总而言之，现有的计较机视觉技能可以运用在 SAR 图象，但机能会降低，而且会呈现一套体系性过错，而这些过错可以经由过程专门针对于SAR图象模式的技能要领来解决。
4SAR图象的计较机视觉技能用在乌克兰谍报阐发于乌克兰，图象阐发师今朝利用区域上空可获取的光电图象及 SAR 图象。当光电图象可历时，为该模式构建的现有计较机视觉东西可有助在加速谍报网络历程。可是，当只有 SAR 图象可历时，这些东西就掉效了。图象阐发职员不能不乞助在人工阐发，这既泯灭时间又轻易堕落。国际上的一些其它机构正于摸索这个问题，但就可用数据量而言，这仍旧是一个未被充实研究的范畴。
伯克利人工智能研究中央创立了一套初始要领及模子，这些要领及模子从公然发布的 BigEarthNet-MM 数据集及Capella 的 Open Data 数据中，集中进修RGB图象 、SAR图象以和RGB+SAR共配图象的鲁棒暗示。这两个数据集都包罗RGB及SAR图象。经由过程利用这些模子，图象阐发师可以或许瓜代利用 RGB、SAR 或者 RGB+SAR共配图象来履行多种下流视觉使命，例如图象分类、语义支解、方针检测或者变化检测。
SAR与EO图象是具备差别征象学特性的数据源，于这个问题上，研究职员发明于利用SAR图象来举行暗示进修时，Vision Transformer (ViT) 是一种尤其有用的架构，由于它消弭了卷积神经收集所固有的标准及位移稳定的归纳误差。于举行RGB、SAR及RGB+SAR图象的暗示进修时，MAERS要领体现最好，它基在何恺明等人（2021）提出的掩码化主动编码器（Masked Autoencoder，MAE)，这是一种可扩大的自监视进修收集：它将掩码化数据作为输入，进修对于输入数据的编码，然后进修对于数据的解码，对于非掩码输入数据举行重修。
与过往风行的对于比进修视觉暗示框架差别，MAE收集其实不预设数据中存于某些可能对于在SAR特性而言成问题的加强稳定性，相反，它只依靠对于原始输入数据的重修，这对于在 RGB、SAR或者RGB+ SAR模子来讲是一个不成知历程。
如图8所示，经由过程进修RGB、SAR及RGB+SAR通道的自力输入投影层，MAERS进一步对于MAE加以扩大，利用同享的ViT收集对于这些投影层的输出举行编码，然后利用自力的输出投影层对于RGB、SAR或者RGB+SAR通道举行解码。其后，输入投影层及同享的ViT收集可以应用到下流使命中，好比方针检测或者变化检测，于这些使命中，RGB、SAR或者RGB+SAR均可以进入输入编码器。
图8: 上方为MAERS进修结合暗示历程的可视化，下方为一个编码器，可用在履行下流使命，好比用RGB或者SAR或者RGB+ SAR模子举行对于象检测。
进修RGB、SAR及RGB+SAR模式的暗示，有助在履行一系列的下流使命，如基在内容的图象检索、分类、支解及检测。为了证实所进修的暗示要领的有用性，研究者于已经有的基准长进行了试验：一是对于BigEarthNet-MM数据集中共配的EO及SAR场景举行多标签分类；二是对于SpaceNet 6数据集中超高分辩率的EO及SAR图象举行语义支解。
对于BigEarth-MM数据集举行多标签分类
图9:（左）对于尖兵2号的EO图象及尖兵1号的SAR图象举行支解，将其用在履行BigEarth-MM Challenge划定的多标签分类使命。给多模子编码器添加了一个线性层，然落伍行端到真个微调。
MAERS利用一组用在ViT编码器的ImageNet权重举行初始化，然后于BigEarthNet-MM数据集上对于RGB、SAR及RGB+SAR图象举行20个周期的预练习。研究者于MAERS编码器上附加了一个单一的线性层，并经由过程对于整个模子举行20个周期的微调来进修多标签分类使命。
成果显示于表1中。颠末微调的MAERS，优在BigEarthNet-MM论文所出现的最好RGB+SAR成果。并且，为了RGB、SAR及RGB+SAR输入模式的暗示进修，对于自己已经经近乎完善的MAE架构加以调解后，它依然孕育发生了最佳的成果。
表1: BigEarthNet-MM测试集所陈诉的每一一类F2分数。
对于EO及SAR图象举行语义支解
研究者进一步做了对于修建萍踪举行语义支解的迁徙进修试验，这是一项“和时雨”性子的使命，将有助在图象阐发职员相识乌克兰所遭遇的粉碎环境，而且它是于对于修建丧失做评估以前的一个先行事情。对于在当局官员、记者，及想要相识俄罗斯对于基础举措措施及布衣袭击的规模及严峻水平的人权构造来讲，修建丧失评估都有直接的意义。
图10: 构建基在SAR图象的MAERS支解示例，取自SpaceNet6。此中左侧显示的是RGB图象，右侧显示的是叠加了支解成果的SAR图象。SAR图象以VV、VH及VV/VH波段的假色显示。
于该试验中，研究者利用SpaceNet 6数据集作为一个开放及公然的基准，来其用以构建来自Capella Space的VHR SAR图象中的萍踪检测的暗示进修的有用性。他们利用这个编码器与UperNet架构串联用在语义支解。图11显示了于只有SAR图象输入的SpaceNet 6的关闭验证组件中，于练习利用SAR或者RGB图象的支解模子上支解修建所占用的IoU机能。与重新最先练习RGB+SAR模子或者采用彻底不异的布局调解ImageNet权值比拟，MAERS预练习模子可提高约13个点。
图11: 利用带有ViT骨干收集的UperNet支解模子，于SpaceNet 6 Challenge上构建支解IoU。
这注解，MAERS可以进修RGB+SAR模式的鲁棒暗示，是以于完成下流使命时，利用EO或者SAR图象都是可行的。需要留意的是，于修建物支解使命中，SAR图象的征象学特性使其具备必然劣势，而利用EO图象履行该使命可得到年夜在90的IoU患上分。这便给SAR技能留下了一个巨年夜的空缺，有待进一步研究。不外，当情况前提倒霉在EO图象的捕捉时，从SAR图象中得到其机能仍十分主要。
5技能与人性主义的合流今朝这项研究只患上出了开端成果，但仍显示出了很强的说服力。研究职员暗示，他们将向人性主义伙伴提供研究模子，帮忙他们对于住民区及其他布衣区举行情况变化检测，以更好地展现入侵者于乌克兰犯下的战役恶行。
当前，人性主义构造正紧密亲密存眷着乌克兰的战役，这些模子将有助在提高人性主义事情的效率。不外，与任何其它技能同样，咱们需要警惕技能被不得当地滥用。研究职员思量到了这一点，他们于设计模子时，参考了于人性主义配景下举行谍报及图象阐发的职员所提供的定见，将他们的设法、评论及攻讦纳入思量，从而提供了一种切合人类好处的东西，并于利用安全方面加之了一把锁。
原文链接：https://bair.berkeley.edu/blog/?refresh=1
雷峰网(公家号：雷峰网)
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
-米兰·(milan)中国官方网站
