|
4 m# Y+ K4 s1 d# h" h. J" y hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com0 {* Q# i, O" `! i! p+ ?. |
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
7 J* M5 V, f3 j- D7 E 好嘛，举手之劳。
" P- N# v# \" }1 R ( s1 k* l6 W9 X: `$ m. X
但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
/ s l" b v) d# ]3 q
) T z$ D% ~ N; v* P( L1 L7 T/ W* z 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” 8 ?+ d+ w- _' H: ]; J& L: n* }2 t
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
; `* C2 P+ L# h6 Q 先看这两张图
: I! @1 w, S0 ?; C 9 N3 x8 E7 Q! Q+ k: E2 R+ F! o
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
2 T! `9 I$ h! h' u
+ u7 `' Z# k9 `6 f 第二张是一张声呐图像，显示的是海底的一辆自行车。
2 Y+ o+ O7 C* @ 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 9 k$ F. j' D* d
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 ( I8 h5 b7 J7 f* ]
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
& z5 s; F) S$ t/ { 1 S8 ^4 S$ R. N/ p! m
你看这就是辆小汽车
: W' H, K3 ~- V4 A6 |. ? # |# n5 z' G" T0 F
这就是人工堤坝和沙坡
- v6 j5 G' M$ x. L 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 8 Y9 d4 ^# \7 o6 Q% N+ s t
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
; ~3 i$ n( I" c0 T$ e. c. N# `
2 i. @9 x Z, i3 i) j* A( O 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
o/ U9 a; u" g 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
& Y4 p& h$ N8 I p1 @6 \
9 L* Z S- H, O$ G/ g/ I7 B 大致就是这么个意思，你品，你细品。
4 ~% m6 T9 D5 T, p7 T 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 , G+ V9 Y* G9 f$ L# d
2020“水下目标检测算法赛”
8 Y2 p- b2 G3 d- S$ w% a 水下目标检测算法赛（声学图像赛项） / 讨论区 : `; Z O. C4 j- P$ v0 K
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？ ( u" @4 N3 w; q5 ]" P9 R
5 n+ I, L2 N+ I) ?7 |# O( U6 V
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 ) w/ u2 w$ ^& m" R
讲完图像之后，我们再来讲讲题该怎么做
$ l$ @) k. J( t$ q6 w3 m! D 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 - M+ m4 q3 J8 I+ O9 Y
举个例子：
7 b) I% u$ |- J- D; Q WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
; f9 B" m# n1 e: O0 t9 w' x 老师给的论文中，使用的方法为CNN/FCN - M" ~- ~5 @' c; U5 \4 Y4 {2 ?
/ \$ ?" ~# B+ _: J% R% x
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
% y/ i5 I; |( p) ^1 ?" {$ v: w 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
( x# h8 ?1 \$ _9 H% L) z0 O “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
& K2 i; i" L! z4 c( d( S# R/ L( x 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） # j2 D; h/ e; ?$ b6 a
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ 9 Q3 n: n/ k+ p5 C
2 j) }4 ~% k8 _7 J+ j+ a
最后，要进行我们的传统项目，也是大家最最最期待的环节：
" W7 _( L# i9 D+ o% |0 e7 s 官方baseline公布: M$ ]) f6 C& U2 \$ |7 P0 O, R' D
使用Google Object Detection 完成水下目标检测 0 T+ G9 d& v5 |8 M! i4 w
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e 5 B) f7 {$ X. g; d1 p3 @$ d' y; D
项目优雅介绍了baseline的使用全流程，欢迎大家试用
; O/ a+ u0 i* B: y5 o' j! w: |3 E 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 4 ^4 ~) B& q" ]% e! U4 e
懒人版声学 Baseline % a# p- H5 [5 T1 A! h/ B5 }) S$ {
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
6 b1 c; c. ^4 k% r# w 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
" L1 q' a% H9 n! H0 h 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
; V" q; e8 {) a, q# X0 W 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
0 h( S- n( {& s6 e5 ]
* o4 A% `& P: G8 c 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
1 @5 M9 C! `- Z0 c# m 你不算我不算，声呐图像怎么办？ / O7 z b0 N3 N o! q
你参赛我参赛，海底世界任我探！ # `2 O$ n* X9 N% t9 t, ?
期待在排行榜上看到各位的大名。以上。 & n n9 v1 |! {' h7 S0 e
相关资料： 6 ?+ o5 N1 `! W2 m8 N# B( C
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. 4 Z/ V# o s; N: s) B. X2 t
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
# J$ Z9 x* A2 _9 f6 L2 F7 l/ b
$ R4 D( i3 R& k5 S1 Y$ S8 l+ H3 y. b6 v8 s& V7 N4 N0 M; S) Y7 ]
$ a, q" ]6 n6 r% f: k6 J$ t3 H0 \ W3 u# E+ {
| 
