OceanGPT：面向海洋科学的大型语言模型初探 - 海洋科学期刊论文

5 D* N4 E: Z9 p4 U: N2 D

# d! N: q# \+ ^8 ?/ U7 q% w

海洋覆盖了约 71% 的地球表面，对全球的气候调节、天气模式、生物多样性以及人类的经济发展都扮演着至关重要的角色。海洋科学专注于研究海洋的自然特性、其变化规律以及与海洋资源开发和利用相关的理论、方法与应用。

本文介绍一个为海洋领域打造的大型语言模型——OceanGPT。如图 1 所示，该模型可处理海洋科学的问答和内容生成任务。此外，本文还尝试验证大模型模拟操控水下机器人，探索大模型驱动的水下具身智能的实现。OceanGPT 提供预训练模型的开源下载。 ! I m4 w7 l. ^ o( j' Q, i

论文名称：

* ^: h. e' m' \

OceanGPT: A Large Language Model for Ocean Science Tasks

论文链接：

https://arxiv.org/abs/2310.02031 + H( _) o1 e! @: I2 @6 V0 V: Z5 b% T5 O

模型下载：

https://huggingface.co/zjunlp/oceangpt-7b▲ 图1 OceanGPT海洋科学问答能力

一、OceanGPT训练

1.1 海洋领域预训练为了训练 OceanGPT，本文构建了专门针对海洋领域的的预训练语料。首先，从开放获取的论文文献中收集文档作为原始语料库，并使用工具将文献文件的内容转化为纯文本。为确保数据的质量，对收集的数据集进行进一步使用正则表达式过滤掉了图表、标题、页眉、页脚、页码、URL 和引用。此外，还过滤了多余的空格、换行符和其他非文本字符。处理后的文档涵盖了海洋科学的各个领域，如海洋物理学、海洋化学、海洋生物学、地质学、水文学等。此外采用了基于哈希的方法对数据进行去重，这有助于在预训练期间降低过拟合的风险，提高其泛化能力。1.2 基于多智能体协同的指令数据生成与微调在指令微调阶段，为了能够解决海洋领域数据难获取的问题，本文设计了一个全新的基于多智能体协同配合的指令数据生成与处理框架—DoInstruct，其能够自动化地收集和生成大量海洋领域指令数据。如图 2 所示，DoInstruct 的海洋数据生成框架依托于大模型多智能体的协作来自动化地生成大量海洋科学指令数据。▲ 图2 海洋指令构建的算法框架具体来说，每个海洋智能体会扮演对应海洋专家角色，比如扮演海洋生物、海洋气象等子领域的专家。整个框架分为两部分，一部分利用演化算法来不断迭代增加海洋种子数据的知识丰富度，另一部分则训练单独的智能体专门负责从海洋科学文献中抽取数据来提升知识专业度。最后，与海洋科学相关的人工规则被作为提示来确保智能体生成指令数据的质量。

二、OceanGPT评测

2.1 构建海洋领域大模型评测基准-OceanBench本文构建了一个海洋领域评测基准数据集，它可以系统性地评估大语言模型在海洋领域的性能。如图 3 所示，经过自动化评估和人工评估，本文发现 OceanGPT 在 15 个海洋科学任务上表现出相对较好的性能。▲ 图3 OceanBench实验效果对比2.2 深入分析海洋大模型的能力 ▲ 图4 OceanGPT在海洋科学问答场景的效果对于海洋科学问答场景，OceanGPT 在知识丰富度和专业度中展示出更好的效果。具体而言，OceanGPT 在描述如海洋放射性核素防护等研究内容时展现出相对更高的领域知识专长，其文本内容不仅结构清晰、组织有序，而且全面覆盖了放射性核素研究的各个方面，比如从实验设计到数据分析，再到风险评估和处置指南等。▲ 图5 OceanGPT在模拟操作水下机器人的效果（基于Gazebo模拟器）进一步的，本文探究了 OceanGPT 在模拟操作海洋机器人的能力。通过将代码指令整合到了模型的指令数据中，经训练后发现 OceanGPT 在一定程度上可依靠人类指令来操作水下机器人，使机器人执行基本的路径控制操作。OceanGPT 对海洋机器人的交互进行了初步尝试，可以为大模型驱动的水下具身智能的实现提供参考。 1 A- I3 E. E7 [5 L9 Q. R

三、使用OceanGPT

% n8 @8 u$ W. y. a) \

本文在 Hugging Face

8 m6 P8 X+ U4 ]; f! w& r9 |

(https://huggingface.co/zjunlp/OceanGPT-7b) 中提供了 OceanGPT 的使用简易教程。执行以下脚本即可加载和使用 OceanGPT。

>> from transformers import

pipeline

>> pipe = pipeline("text-generation", model="zjunlp/OceanGPT-7b" : Y. t/ N* Z4 v0 k

)

>> from transformers import " z t) ? ?3 K& q

AutoTokenizer, AutoModelForCausalLM

>> tokenizer = AutoTokenizer.from_pretrained("zjunlp/OceanGPT-7b" , X. \# I% p( B) f6 t6 Q3 U

)

>> model = AutoModelForCausalLM.from_pretrained("zjunlp/OceanGPT-7b") % |( s7 ?( q3 x OceanGPT 还提供了一个如图 6 所示的在线交互演示系统，并计划在未来更新模型以进一步提升海洋科学任务的能力。更多详情请参阅论文原文。▲ 图6 OceanGPT演示系统 7 t& H- ]5 w N; O3 O$ K6 ?

作者：毕祯

; [$ V5 ?5 v3 S# N2 R( ~ d1 Y

来源：公众号【PaperWeekly】

Illustration by IconScout Store Delesign Graphics

-The End-

扫码观看！

; |% M( @$ v7 D! ~! ?

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

5 X0 W7 y+ N( g: j0 _

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

$ H: z V2 m3 f h$ C

投稿须知

6 [4 l3 j. s, `% f7 ]

稿件需要为原创文章，并标明作者信息。

_1 D" u- K& `& }0 z! {

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

$ c- E; `) s# v2 n6 ~; L( Q4 c& m

发送邮件到

; o0 k/ R& g: M8 R# a- R

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

>>> 添加小编微信！

关于我“门”▼将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:⤵一键送你进入TechBeat快乐星球

; w8 J5 a3 l" v& I. i9 N