小工具      在线工具  汉语词典  css  js  c++  java

百度飞桨各个库版本记录!

Paddle相关技术应用专栏,自然语言处理,人工智能 额外说明

收录于:197天前

1.PaddleNLP

PaddleNLP是一款简单易用功能强大的自然语言处理开发库。聚合业界优质预训练模型并提供开箱即用的开发体验,覆盖NLP多场景的模型库搭配产业实践范例可满足开发者灵活定制的需求。

PaddleNLP v2.4发布!Release PaddleNLP v2.4.0 · PaddlePaddle/PaddleNLP · GitHub

  • - 发布NLP 流水线系统 Pipelines ,插拔式组件设计,飞桨SOTA模型快速串联,Docker低门槛一键部署,让解决 NLP 任务像搭积木一样便捷、灵活、高效!10分钟搭建检索、问答等复杂系统。
  • - 新增文本分类系统方案,覆盖多分类、多标签、层次分类多场景,支持预训练微调、小样本Prompt tuning、语义索引分类创新方案;基于TrustAI 可信计算、多样的数据增强策略,解决分类任务调优难题。
  • - 新增文本摘要功能,采用前沿模型UNIMO-text,基于大规模摘要语料,打造领先效果,支持一键预测和定制训练,打通 FasterGeneration 高性能推理; - 新增文图生成、代码生成等趣味应用,支持 Taskflow 一键调用,打通 FasterGeneration 高性能推理;
  • - 新增UIE多语言版,支持中英文混合抽取;新增基于封闭域模型 GlobalPointer 的 UIE 数据蒸馏方案,推理速度提升100倍以上!

PaddleNLP v2.3.5发布 https://github.com/PaddlePaddle/PaddleNLP/releases/tag/v2.3.5:
1. UIE英文版,欢迎各位在国际渠道传播;
2. 多分类、多标签、层次分类等文本分类系统方案,配套数据增强策略提升模型效果;新增小样本模型RGL;
3. 语义检索Neural Search 升级:新增部署和网页版系统全流程功能;新增无监督语义向量模型DiffCSE;
4. 代码生成模型CodeGen支持Taskflow一键调用,支持刷Leetcode、代码续写、根据注释生成代码等… …

1.1 UIE

多模型选择,满足精度、速度要求

模型 结构 语言
uie-base (默认) 12-layers, 768-hidden, 12-heads 中文
uie-base-en 12-layers, 768-hidden, 12-heads 英文
uie-medical-base 12-layers, 768-hidden, 12-heads 中文
uie-medium 6-layers, 768-hidden, 12-heads 中文
uie-mini 6-layers, 384-hidden, 12-heads 中文
uie-micro 4-layers, 384-hidden, 12-heads 中文
uie-nano 4-layers, 312-hidden, 12-heads 中文

2. ERNIE

GitHub - PaddlePaddle/ERNIE: Official implementations for various pre-training models of ERNIE-family, covering topics of Language Understanding & Generation, Multimodal Understanding & Generation, and beyond.

ERNIE/README.zh.md at develop · PaddlePaddle/ERNIE · GitHub

文心大模型ERNIE是百度发布的产业级知识增强大模型,涵盖了NLP大模型和跨模态大模型。2019年3月,开源了国内首个开源预训练模型文心ERNIE 1.0,此后在语言与跨模态的理解和生成等领域取得一系列技术突破,并对外开源与开放了系列模型,助力大模型研究与产业化应用发展。提醒: ERNIE老版本代码已经迁移至repro分支,欢迎使用我们全新升级的基于动静结合的新版ERNIE套件进行开发

2.1 ERNIE3.0

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-3.0#%E6%A8%A1%E5%9E%8B%E6%95%88%E6%9E%9C

文心大模型ERNIE 3.0 基础上通过在线蒸馏技术得到的轻量级模型,模型结构与 ERNIE 2.0 保持一致,相比 ERNIE 2.0 具有更强的中文效果。

 

本项目开源 ERNIE 3.0 Base 、ERNIE 3.0 Medium 、 ERNIE 3.0 Mini 、 ERNIE 3.0 Micro 、 ERNIE 3.0 Nano 五个模型:

2.2 ERNIE模型汇总

下表汇总介绍了目前PaddleNLP支持的ERNIE模型对应预训练权重

Pretrained Weight Language Details of the model
ernie-1.0-base-zh Chinese 12-layer, 768-hidden, 12-heads, 108M parameters. Trained on Chinese text.
ernie-tiny Chinese 3-layer, 1024-hidden, 16-heads, _M parameters. Trained on Chinese text.
ernie-2.0-base-en English 12-layer, 768-hidden, 12-heads, 103M parameters. Trained on lower-cased English text.
ernie-2.0-base-en-finetuned-squad English 12-layer, 768-hidden, 12-heads, 110M parameters. Trained on finetuned squad text.
ernie-2.0-large-en English 24-layer, 1024-hidden, 16-heads, 336M parameters. Trained on lower-cased English text.
ernie-3.0-base-zh Chinese 12-layer, 768-hidden, 12-heads, 118M parameters. Trained on Chinese text.
ernie-3.0-medium-zh Chinese 6-layer, 768-hidden, 12-heads, 75M parameters. Trained on Chinese text.
ernie-3.0-mini-zh Chinese 6-layer, 384-hidden, 12-heads, 27M parameters. Trained on Chinese text.
ernie-3.0-micro-zh Chinese 4-layer, 384-hidden, 12-heads, 23M parameters. Trained on Chinese text.
ernie-3.0-nano-zh Chinese 4-layer, 312-hidden, 12-heads, 18M parameters. Trained on Chinese text.
rocketqa-base-cross-encoder Chinese 12-layer, 768-hidden, 12-heads, 118M parameters. Trained on DuReader retrieval text.
rocketqa-medium-cross-encoder Chinese 6-layer, 768-hidden, 12-heads, 75M parameters. Trained on DuReader retrieval text.
rocketqa-mini-cross-encoder Chinese 6-layer, 384-hidden, 12-heads, 27M parameters. Trained on DuReader retrieval text.

 PaddleNLP/contents.rst at develop · PaddlePaddle/PaddleNLP · GitHubEasy-to-use and powerful NLP library with Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including Neural Search, Question Answering, Information Extraction and Sentiment Analysis end-to-end system. - PaddleNLP/contents.rst at develop · PaddlePaddle/PaddleNLPhttps://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/transformers/ERNIE/contents.rst

3.PaddleSlim

PaddleSlim是一个专注于深度学习模型压缩的工具库,提供低比特量化、知识蒸馏、稀疏化和模型结构搜索等模型压缩策略,帮助开发者快速实现模型的小型化。

. . .

相关推荐

额外说明

Matlab矩阵

本文主要介绍Matlab关于矩阵运算的函数的API 补充: 1⃣️求解逆矩阵 A是某个矩阵,则inv(A)表示求解A的逆矩阵 2⃣️求解矩阵的特征值

额外说明

阿里p8空降测试总监,让我们用这份测试用例规范,再也没加班过了

一、测试用例介绍 测试用例是为项目需求而编制的一组包含测试输入、执行条件以及预期结果的文档,以便测试某个程序是否满足客户需求。 1、为什么要写测试用例? 是测试工作的指导,是软件测试质量稳定的根本保障,评估测试结果的基准。 有一份用例来指导测试执行,可以

额外说明

自然语言处理:长文本场景下的关键词抽取实践

NLP专栏简介:数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等 专栏详细介绍:NLP专栏简介:数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性

额外说明

【Unity3D 灵巧小知识点】 ☀️ | Unity中几个简单又常见的报错异常

Unity 小科普 老规矩,先介绍一下 Unity 的科普小知识: Unity是 实时3D互动内容创作和运营平台 。 包括游戏开发、美术、建筑、汽车设计、影视在内的所有创作者,借助 Unity 将创意变成现实。 Unity 平台提供一整套完善的软件解决方

额外说明

spring整合使用activemq

activemq简单的demo这里就不做演示了,今天介绍一下如何利用spring整合activemq,也是实际工作中涉及到的,希望对各位伙伴有所帮助, 1、安装activemq,为演示方便,我已经提前在linux中安装了activemq,安装过程比较简单

额外说明

抑制过拟合的方法之权值衰减

        机器学习很常见的一个需要解决的问题就是过度拟合(overift),过拟合的意思是它能够很好的拟合训练数据,但是对于训练数据之外的数据可能就显得差强人意了,也就是常说的泛化能力比较差,所以抑制过拟合就显得很有必要了。 发生过拟合的两个主要原

额外说明

Java——SystemTray系统托盘

┏(ω)=☞ 本专栏的目录(为您提供更好的查询方式)(点这里说不定有你想要的) import java.awt.*; import java.awt.event.*; import java.net.URL; import javax.swing.*;

额外说明

全网详述Mysql查看连接总数、活跃数、最大并发数,以及show status和show global status区别,show status like ‘%变量名%‘;

文章目录 1. 文章引言 2. MySQL连接数 2.1 连接总数 2.2 活跃数 2.3 最大并发数 3. 重要补充 3.1 show status和show global status区别 3.2 show status like '%变量名%' 3

额外说明

mysql的delete truncate drop说明 mysql删除外键 mysql删除索引 mysql查询外键key_column_usage mysql查询索引tatistics

这里写目录标题 引言 创建测试表 登录数据库 创建数据库 创建测试表 用户表 创建账户表 插入数据 分析数据 分析drop 方式1 方式2 分析delete 分析truncate 删除外键 方式1 外键删除 查询外键 方式2 外键删除 查询外键 删除外键

额外说明

机器学习强基计划3-4:详解核方法——以核支持向量机KSVM为例

目录 0 写在前面 1 为什么需要核方法? 2 常用核函数总结 3 KSVM的python实现 3.1 设计核函数 3.2 KSVM与SVM的对比 0 写在前面 机器学习强基计划聚焦深度和广度,加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后

ads via 小工具