|
) s' n! o5 y: ^5 h! ?# O3 X- a# _1 } hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com) l" c& _* k; u
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
8 g1 M2 h! S E 好嘛，举手之劳。
$ f0 a4 L& G+ @% J2 t: V$ r ( b. w8 l+ A/ H6 q+ M. `
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
5 t5 o G' p r. E 8 N1 b- M/ H2 s0 Z
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
( `( K# y6 s( a2 W% Q/ |. S 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 . L8 X& A1 m& \5 \
先看这两张图 2 s0 l# h' R# P! `! B
, I- n v, ~0 K* ]' |) \
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
* t4 K* N# T5 B6 w
0 V4 J: g& i0 L; c 第二张是一张声呐图像，显示的是海底的一辆自行车。
; O* y3 s k" Y3 M9 Q 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 * C. z5 `% K( V* @- I1 Z
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 : C! g7 l8 R: c e% ?8 G' p
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
8 a: s' W8 G* R# ]: ^- t. \& i ! ^6 N; L9 f- K# R" d
你看这就是辆小汽车 ( _9 Z% W1 E7 ]/ K' l
# D; s O! V2 x+ z, j7 ]3 N 这就是人工堤坝和沙坡 ! j2 ^- K, f% y. q; X/ x5 ]5 q
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 & P! X1 s5 N! c
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 , m8 U5 R x* e7 b
+ S" D; c: g: a& J4 _/ S- A 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） / h6 T v( I0 b* z- k
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
4 W; a; M' U, l$ s / Z( L+ b/ E [' J
大致就是这么个意思，你品，你细品。 # j6 A/ g% X9 ^; {+ L, D- U7 Q
还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区
* q* }3 s% w3 u! [9 s 2020“水下目标检测算法赛” % w+ B- N* ^/ Y% J& F
水下目标检测算法赛（声学图像赛项） / 讨论区
6 ~) M9 m% p- ^+ W; C1 [" C 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
, `5 c( n& a0 ^+ d* v
; z/ H6 N: W6 P( Q) } 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
* q) q7 t8 e6 e2 w 讲完图像之后，我们再来讲讲题该怎么做
5 s, O1 C# L. n) h 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
: v: w2 v9 s7 N( `+ ~$ B$ s 举个例子： ( Z; L# Y5 H! J# B
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN . |+ f# t, u4 K
老师给的论文中，使用的方法为CNN/FCN 8 V) d5 A2 i+ Y! I
# {5 F0 V* x, H( Y8 h
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
* u1 w. Q8 y! l( X2 F 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
2 x, K# Q" B! ~2 B) Z! z “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” 7 B3 v. q4 ?# ?% w0 ^+ V" @: k
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
8 }& q" d. e5 e M; A 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
! x; m4 f6 _; I A, W
. }4 E' r7 `9 g. k( E 最后，要进行我们的传统项目，也是大家最最最期待的环节： / Z3 p, t, `" ]2 [: e- U: S
官方baseline公布) W; g% u: z" o
使用Google Object Detection 完成水下目标检测 / G) g: l* R3 i$ v. Z' V
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e % r8 F8 a* S- x0 o5 N& L5 h9 r" K
项目优雅介绍了baseline的使用全流程，欢迎大家试用 4 N# T+ b/ i* U
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
% s7 U* n1 E1 u7 k+ k 懒人版声学 Baseline
" ~) f2 a5 t9 G https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 4 Q( t1 ^* P. \2 }: L
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 4 z z3 w }7 h7 H1 V3 a
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
s, _1 ?& K5 i4 \, F! T/ m 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
) A8 F: D/ X- J6 D1 [. ^
1 f) j4 r: K5 | 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
$ [& k! i3 d; l9 i5 Z* j 你不算我不算，声呐图像怎么办？
6 J8 Z( q4 f3 l( N/ ? 你参赛我参赛，海底世界任我探！
& w6 h6 {2 Q7 J; ^& B5 Z7 |' _. D7 v 期待在排行榜上看到各位的大名。以上。
% q$ e/ j* P& x0 {1 y0 w 相关资料：
/ \ U+ e1 p2 X$ P- A. { 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. ( m8 `% D$ X& x; U) y, E
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
1 ^1 X F9 i; D5 b8 K- `9 \$ g% ~2 p: @$ z/ S
, |3 k! s* g, m6 Z1 w. O, m
; ?6 \5 G% n& @/ b! @5 H. i) z) ? A' {
| 
