|
1 U+ y6 e* _8 B8 y) d' {) h
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com3 _$ Q( m6 Y" Y0 y. Z R. q! x
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 " A$ l$ \- h' j E/ F
好嘛，举手之劳。
9 p: {& y$ G, |& w! g: y 1 D' C' h3 e4 H
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
" z! e, r8 y( [. c+ h
: V8 Y6 j7 T& p# ~+ ~ 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” 9 b: \# F' h! [; T& A# Y z
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 2 P, i$ w2 @1 T5 J5 g- L
先看这两张图 ( k! A6 I6 L+ m9 L1 f
* M. F( j# U0 g$ F
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） 6 r5 `4 T- S3 [8 r, V8 R
& C% e# h1 w0 Z1 N, T/ G
第二张是一张声呐图像，显示的是海底的一辆自行车。
2 A& c: m9 l0 l2 P' W" n5 A$ X! y 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
) H9 F0 M4 i* s 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 w+ S' u% k) K5 R8 l7 Q
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
) G! B9 w( d$ C& D! Q: b' H: Q$ Y
' i H) C# y# ?' S& Q& y1 w# `6 ^ 你看这就是辆小汽车
- X8 w: |3 u. r$ C# Q - a1 c! F! @" m8 q2 U9 X
这就是人工堤坝和沙坡 8 q- Z: I- j" Z0 q# ]
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
" t" H) `3 T, D% [ 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
" ]9 b& _6 [/ j: j' p u9 e K ' q. I( J6 _( [6 B1 n
仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
* Z# F$ h" }8 T- C- c2 w( @* E/ e6 } 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 * K2 t* K) {/ j( `
. q3 A2 M$ w5 J" h! Z+ w 大致就是这么个意思，你品，你细品。
% ]8 }0 j t" [" P 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区
9 d |4 }/ v2 U1 w2 r& J9 z 2020“水下目标检测算法赛”
; `( c* v* l) C8 x 水下目标检测算法赛（声学图像赛项） / 讨论区 ( h7 C% Y$ Z- Q! J
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
3 O1 y' l* J: W8 S9 J ! Y/ V+ m/ C% @1 _5 {
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 2 b) X+ @8 D- a7 d9 k$ c% F/ ]
讲完图像之后，我们再来讲讲题该怎么做
& o4 c, N* j- R, x$ H" I- y. f2 b$ _ 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
4 Y% `- s; y3 [( k( G 举个例子：
5 }& Q' L p0 W# q) f4 @# v; F WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN v: N) s/ O* A9 Z. Z
老师给的论文中，使用的方法为CNN/FCN 2 s7 X* Z" ^$ A
0 Q2 c: M% H7 C7 D" C
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 2 J7 y7 ]$ p7 p3 r2 `
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
- F9 L2 D* g1 o) \ “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
0 A& U$ M: {# u3 K1 z& j2 T 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
0 l3 ]5 ?1 m. t. |0 l* Y9 d# y 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
# Q# x- r: O3 H$ V7 |% g ( l2 T7 ] m2 W& I
最后，要进行我们的传统项目，也是大家最最最期待的环节： " J6 G9 k+ ^) S9 w; O
官方baseline公布
5 E: {( x7 s) s8 z" ~ 使用Google Object Detection 完成水下目标检测
: v0 D: {7 Z0 H5 x0 f& A- r2 a https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e ' F* r7 @! V j3 l" I( J
项目优雅介绍了baseline的使用全流程，欢迎大家试用
4 [$ M; {- H6 P 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 0 B/ l$ R3 S( H% c; {" l
懒人版声学 Baseline + x6 z& a- a3 D" M
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
0 ]7 T4 ~, Q5 f/ F! u# N" N# t* b 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
$ i/ L8 ?( Z# W, e \ 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
3 @$ X9 h1 K/ X! r9 q! v 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
V4 X0 ^) z* M2 a ! B! O% i2 y6 w) |
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
. V% }5 y& Y7 j& y8 d 你不算我不算，声呐图像怎么办？
. s; f: J+ N+ X' ~1 M. n 你参赛我参赛，海底世界任我探！
. y8 `* A; v. c0 F6 j 期待在排行榜上看到各位的大名。以上。 $ b% X: z1 Z3 t3 {( \
相关资料： 6 M' h: ^! g1 h; Y
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. 2 K7 ]2 V& j6 |, W& I/ }
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
! }% }+ z: e! v+ F' n2 E
. Q9 Y& K& ~9 j" d6 N: j
/ R5 k* T' [4 a' b1 Q
' R, S- G: X. Q5 p" q6 @- _9 G, H* a. I
| 
