|
/ C0 X+ M6 F! {) g7 {9 p N3 E- m hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
$ v$ F, @6 p/ x8 K7 i @ 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 5 d, k9 T. y0 c3 u* n' q; e6 G
好嘛，举手之劳。
k5 L/ B* |& d1 W6 I. Z, E; t 3 L0 W" \6 e. J1 E% g' |
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 4 M: b4 i7 m3 T# c, J4 J" I( r. w
1 U" c/ y6 J8 ?$ a2 u) b8 a3 ?
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
# G- u3 L" ]# C) v 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 3 S: S5 r$ ] v
先看这两张图
0 ]' D6 ~! x+ m5 V
6 A9 y3 J/ {. V 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） 1 N, T% u7 F9 @+ r& c; A8 b9 h
4 I( K6 z% O. b: \
第二张是一张声呐图像，显示的是海底的一辆自行车。 * X8 |% O0 n- ^
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
( G) e; u' W4 @+ V, d% N1 ] 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 ! o. Z- l; e5 `. ~
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
, o* X5 i* N) `, U9 p2 G* Y9 N' g 9 L* N6 ]& Q- U" T
你看这就是辆小汽车
& J% e6 p% @2 T% i, y* Y9 E
# N' Y, U( X* z- q: ]* i 这就是人工堤坝和沙坡 5 u4 d* F, l; r
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 1 n9 w0 U. m' f& A; x
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
W& @5 O& T L4 r4 @6 n 6 o- m5 i$ E- {. k; z& g1 B% m
仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
/ |' z& N$ \; b* Q* X 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 1 A) S+ \" n- A' `( N& `2 f6 s8 Y
' {# N R) b4 n/ t" K# r. M
大致就是这么个意思，你品，你细品。
/ O, ], O- e; e9 g6 X 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 3 X: e, m1 P7 ^$ P* O
2020“水下目标检测算法赛”
7 w! A) w) g0 s& {" I+ P- y 水下目标检测算法赛（声学图像赛项） / 讨论区
( k6 j% B- w! r8 r 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
% C) W# y* Q0 q+ l/ @ ) ^/ E0 q1 R+ b+ L+ \
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
: f- ^3 X( b" r- ]8 n' T 讲完图像之后，我们再来讲讲题该怎么做 1 t! K z! i5 h! D
办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
7 p( E U+ G) D+ r: M4 b& _2 U 举个例子： . g: |3 X& T4 E3 m$ c$ @, z
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN ) _+ F$ x& F, R% H$ y5 |
老师给的论文中，使用的方法为CNN/FCN * R+ d3 a. a: H% A2 L
+ E7 }& m! h# e$ T3 l
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
1 Q8 T1 [+ |1 X. {0 |- f 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： 2 I$ n" ^1 H9 \$ z
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” " ?* t0 v- H5 T! ]$ s
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） 2 |5 f" z3 a$ p: \5 ?: X
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ 2 I! ^6 X; L9 @0 R! t9 s: t
8 q9 ?% n5 F; A, Q 最后，要进行我们的传统项目，也是大家最最最期待的环节：
8 L" g2 @% T3 @: B" a 官方baseline公布
9 c# c, V# c. @9 m: d9 g 使用Google Object Detection 完成水下目标检测 2 t J/ y8 b5 c# V, V: q
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
: u g$ U; C0 G/ G 项目优雅介绍了baseline的使用全流程，欢迎大家试用
/ d, D6 ] G. V f+ x 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
6 x* C3 {2 W- B0 [ 懒人版声学 Baseline
- Q: j1 E% _ L6 ?1 A https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
6 [; J$ X' X- C8 Y 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
: d1 C. Q- W3 P1 ?" C/ t 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
6 o/ h0 ~: s5 E* Z( F& ~9 v- k 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊 ! F6 E/ t$ C5 G6 @) w
# h m, y4 K! `: h+ J8 P! v 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 ' V2 n, S5 k6 j) d. H
你不算我不算，声呐图像怎么办？ # o! u- g6 E- ?, s0 T' n f
你参赛我参赛，海底世界任我探！ / d/ V( `+ b( j% L
期待在排行榜上看到各位的大名。以上。 9 P$ f. _: A, D! N. U
相关资料： 5 Y- f- ^' l4 c, E
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6.
, R6 H) R; Y( R8 q7 [% B9 X! Y 2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 " H/ P* u! `1 R, z" n
( d4 b% y* O9 ?% v+ [5 @$ B
4 z+ M8 D3 Y1 o" d/ Q' R: R
6 ^. c9 z- a- b3 P/ u
) |7 o+ W4 F& l4 U* Q& C8 r8 W | 
