ChatGPT引发的AI热潮也“烧”进了金融圈，彭博发布了为金融圈打造的大语言模型(LLM)彭博·GPT。

3月30日，根据彭博发布的最新报告，其构建了迄今为止最大的特定领域数据集，训练了专门用于金融领域的LLM，开发出了拥有500亿个参数的语言模型——彭博·GPT。

报告显示，该模型依赖于彭博的大量金融数据源，构建了一个具有3630亿个标签的数据集，以支持金融行业的各种任务。该模型在财务任务中的性能远超现有模型，在一般场景下的性能也与现有模型相当。

一般来说，在自然语言处理领域，参数的数量与复杂度成正相关。GPT-3.5模型的参数个数是2000亿，GPT-3是1750亿。

关于BloombergGPT

报告指出，研究人员利用彭博的现有数据创建、收集和组织资源，通过构建迄今最大的特定领域数据集完成了BloomberGPT，并基于通用和金融业务场景进行了混合模型训练:

彭博主要是一家金融数据公司。数据分析师在公司成立的40年间收集了大量的财务文档，拥有涵盖一系列主题的广泛的财务数据文件。

我们将这些数据添加到公共数据集中，以创建一个拥有超过7000亿个标签的大型训练语料库。

使用该训练语料库的一部分，我们以彭博风格训练了具有500亿个参数的模型。该模型是根据Hoffmann和Le Scao的指导原则设计的，混合模型是基于一般和金融业务场景训练的。

结果表明，我们的混合训练方法使我们的模型在金融任务中的表现比现有模型好得多，而在一般场景中的表现与现有模型相当甚至更好。

1.1的优点。BloombergGPT:特定领域模型仍然是不可替代的，彭博数据来源是可靠的。

在论文中，彭博指出，在现阶段，通用的自然语言处理模型可以覆盖很多领域，但对于特定的领域模型，它仍然是不可替代的。因为彭博的大部分应用都是在金融领域，所以着手建立金融领域的模型特别有优势，同时也能在通用LLM基准中保持竞争力:

除了在金融领域构建LLM，本文的经验也为其他研究领域的特殊模型提供了借鉴。我们的方法是在特定领域和一般数据源上训练LLM，以开发在特定领域和一般基准上表现良好的模型。

另外，我们的训练数据不同于传统的爬行数据。网络上的数据总有重复和错误，但我们的数据来源是可靠的。

2.2的训练数据集。彭博社GPT:

BloombergGPT的训练数据库名为FINPILE，由一系列英文金融信息组成，包括新闻、文档、新闻稿、在互联网上抓取的金融文档和提取的社交媒体消息。

为了提高数据质量，FINPILE数据集还使用公共数据集，如PILE、C4和维基百科。FINPILE的训练数据集大约一半是特定领域文本，一半是通用文本。为了提高数据质量，每个数据集都进行了重复数据消除。

对金融领域的理解更加准确。

报告指出，自然语言处理在金融领域的通用模型中也很常见，但对于金融领域来说，这些任务将面临挑战:

以情感分析为例。一份名为“某公司将裁员1万人”的报告总体上表达了负面情绪，但在财务情绪方面，有时可能会被认为是积极的，因为它可能会导致公司股价或投资者信心的上升。

报道称，从测试来看，BloombergGPT在五项任务中的四项(ConvFinQA、FiQA SA、FPB和头条)表现最佳，在NER(命名实体识别)中排名第二。所以BloombergGPT有它的优势。

测试1: ConvFinQA数据集是一个面向金融领域的问答数据集，包括从新阅读的文章中提取的问题和答案，旨在测试模型对于金融领域相关问题的理解和推理能力。

测试二:FiQA SA，情感分析的第二个任务，测试英文财经新闻和社交媒体标题中的情感走向。

测试三:标题。该数据集包括关于黄金商品领域的英语新闻标题，标记了不同的子集。任务是判断新闻标题是否包含特定信息，如涨价或降价。

测试四:FPB，财经短语库的数据集包括来自财经新闻的句子情感分类任务。

测试5: NER，命名实体识别任务，进行信用风险评估，从提交给SEC的金融协议中收集金融数据。

对于ConvFinQA来说，这种差距尤其明显，因为它需要使用对话式输入来推理表格并生成答案，这是一个挑战。

ChatGPT喜欢彭博

《华尔街见闻》专门就这个问题询问了ChatGPT，ChatGPT认为BloombergGPT是一项重大的技术进步:

它是专门为金融领域开发的语言模型，能够更好地处理金融领域的数据和任务，在金融领域的基准测试中表现出色。

这将有助于金融从业人员更好地理解和应用自然语言处理技术，推动金融科技的发展。同时，BloombergGPT也可以为其他领域的语言模型开发提供参考。总的来说，BloombergGPT是一项有益的技术创新。

本网站声明:网站内容来源于网络。如有侵权，请联系我们，我们会及时处理。

温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信，我们会及时处理和回复。