|
7 L/ q) W. ]3 K( W hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
5 b0 X5 D- r# i* k' `, ]0 ` 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
- d* G) G. P! R/ u 好嘛，举手之劳。 8 O5 ~1 o t8 p, [, m. G
9 v- o! I( o% c. m. ~3 `3 B
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
s% k5 m5 J* x; |! v9 A( H
2 x% Q6 L# l- P! U 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” " B+ Y4 J! Y8 [
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 % G5 \7 O8 s; C* r( W2 p: U
先看这两张图
! H( D/ {8 J! c. X" h " m0 D/ [. `& A1 [* v
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） . }: ]2 e, I% B6 _
+ U# Q, J, }' K+ P% }# h: ~% m' b3 } 第二张是一张声呐图像，显示的是海底的一辆自行车。
/ E" h& o, j' |5 I; ^; o 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 1 L( U2 g" |4 B# o+ s
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 # t3 m0 H! Q* u6 T/ d {
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 ! s2 |. s, C. c* g8 y
" `. R, u* X2 K5 j9 k& c8 m 你看这就是辆小汽车 % a2 q Y( k2 K& C
( D- Y# X' Z1 H3 s3 Q( b 这就是人工堤坝和沙坡 ( @2 O3 c* U. j# C7 n" h" x, p
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
& H4 t5 V) `. Q$ w& _4 j7 | 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
. K$ ~" B" @0 B! A9 k1 l3 H
( F4 v+ _. ]! C& F7 J. t" C9 h( m 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
5 P% o; y5 C! s 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
; S/ Z0 ^/ O5 \2 I ! M8 u$ R' c: T1 X T4 C/ g
大致就是这么个意思，你品，你细品。
; P* _( [" }$ p ? R3 ^ 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 6 j) z: `. y) b) V
2020“水下目标检测算法赛”
4 [2 A+ b! i6 i& N0 E) {/ I 水下目标检测算法赛（声学图像赛项） / 讨论区
: M; w* P2 p+ s. y) ~8 q 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
D f) x9 t( q* @
9 c$ j7 n" `$ E0 _! f" L- g( K1 | 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 % p5 |' [0 Q. i5 T
讲完图像之后，我们再来讲讲题该怎么做 , B6 s- C! ]: f3 w! [4 q& C
办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 3 G% T; O f+ ~ _+ n# g$ q
举个例子：
& l8 p6 {% H* x) O1 W WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
+ T% ^ E- q( p 老师给的论文中，使用的方法为CNN/FCN
# H H* k$ U8 T
5 S3 l1 H4 Z3 |" Q 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 3 }, P. Q4 G/ q( f
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
3 T B) C7 d3 E" s8 W' P3 C “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” ! o$ j' M" V' H3 i( i' D. P
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） * x$ ?! |* ?/ P! X* y
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ 4 E3 ^' V1 K1 a: S+ U7 W
, i9 d% c+ A8 U1 \3 T: [2 n2 k7 F7 u; [
最后，要进行我们的传统项目，也是大家最最最期待的环节： + ^, i8 _$ Q2 B$ }9 ^: B3 D
官方baseline公布5 N' S) x! \% o% W; g: U7 O! s
使用Google Object Detection 完成水下目标检测
2 W7 |" w( D$ e3 p- T8 r: { https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e + A4 g- ?1 l2 o# G M
项目优雅介绍了baseline的使用全流程，欢迎大家试用
' S) T- j' B. `, G 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
1 h# k( ^- S$ {, F6 O 懒人版声学 Baseline 0 E2 d8 ]. C8 F8 Y% J# u
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
& k( q- c$ F5 b( i6 S 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 5 U7 V$ P% S) ]* y' r
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
* z5 B" S1 L+ P0 Y7 z: x* h 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
' J# L! j( \. f1 `7 K5 v% [: v* T
: \% p9 t$ M* E2 X' W; u% z 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
$ V+ u4 [2 y' G( ] 你不算我不算，声呐图像怎么办？ 5 ?0 ^# F+ ~, y, {4 P3 l) V
你参赛我参赛，海底世界任我探！
7 m3 \7 T: p# s, b2 D 期待在排行榜上看到各位的大名。以上。 3 y. L7 J. a0 }# |' n2 |
相关资料： ! R2 `/ L7 c; l* ~ ]
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6.
) N6 C; |" } E2 L2 d' G$ r 2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
* G H5 F9 G! [/ }( L
9 o* {% K( j* F5 n, p" W8 _3 D- B7 M; Y% Y, Y l
! S7 o j7 Y6 ^. b! r4 w
* `6 Z- v8 X: n1 y' M
| 
