自然语言处理标签_开源鸿蒙跨平台开发者社区

自然语言处理

万字长文！大模型(LLM)推理优化技术总结（非常详细）

大模型推理优化技术总结本文系统介绍了大语言模型（LLM）的推理优化技术。内容涵盖LLM推理的基本流程（预填充阶段和解码阶段）、关键挑战（KV缓存管理、内存需求）以及主流优化方法。重点分析了模型并行化技术，包括Pipeline并行、Tensor并行和Sequence并行，详细阐述其工作原理、优势与局限性。Pipeline并行通过垂直分片模型层提高效率，但存在Pipeline气泡问题；Tensor并

 Python-搬运工
2025-06-22 09:15:45

 1638

 14

#自然语言处理 #人工智能 #AI
自然语言处理NLP之RNN模型初始

RNN中文称作循环神经网络, 是一种专门用于处理序列数据的神经网络架构. 一般以序列数据为输出, 通过神经网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出. 它的特点是能够捕捉序列数据中的事件依赖关系, 广泛应用于自然语言处理, 事件序列预测, 语音识别等领域.

m0_74228750
2025-09-22 14:24:53

 1900

 48

#自然语言处理 #rnn #人工智能
Towards Lifelong Learning of Large Language Models: A Survey翻译

随着大语言模型 (LLM) 的应用扩展到各个领域，这些模型适应数据、任务和用户偏好的持续变化的能力变得至关重要。传统的训练方法依赖于静态数据集来训练 LLM，但越来越不足以应对现实世界信息的动态特性。终身学习（又称持续学习、增量学习），或 LLM 在其运行寿命内持续自适应学习的能力，通过整合新知识同时保留先前学习的信息来解决这一挑战，从而防止灾难性遗忘的问题。图 1 提供了终身学习的图示。本调查深

 nopSled
2025-02-11 04:25:28

 380

#语言模型 #人工智能 #自然语言处理
AI新手必看：特征工程与数据预处理

本文深入探讨了人工智能和机器学习中特征工程与数据预处理的核心概念及其重要性。特征工程涉及从原始数据中提取、选择和转换特征，以优化模型性能，而数据预处理则包括数据清洗、标准化和编码等步骤，确保数据适合模型训练。文章详细介绍了特征提取、选择和转换的常用方法，以及数据清洗、标准化和编码的技术。此外，通过一个实战案例，展示了如何使用Python和Scikit-learn对鸢尾花数据集进行特征工程

 六月星辰梓
2025-05-19 14:34:11

 868

 10

#人工智能 #transformer #opencv +3
自然语言处理（25:（终章Attention 1.）Attention的结构)

上一章我们使用RNN生成了文本，又通过连接两个RNN，将一个时序数据转换为了另一个时序数据。我们将这个网络称为seq2seq，并用它成功求解了简单的加法问题。之后，我们对这个seq2seq进行了几处改进，几乎解决了这个简单的加法问题。本章我们将进一步探索seq2seq的可能性（以及RNN的可能性）。这里，Attention这一强大而优美的技术将登场。Attention毫无疑问是近年来深度学习领域最

 Flash Bomb368
2025-04-01 11:41:03

 795

 23

#自然语言处理 #人工智能 #语言模型
企业RAG实施终极避坑指南！这5大误解，90%的项目都中招过！

春节之后的一个月的时间内，微信和小红书上数了下大概有 150 多个过来咨询 RAG 在企业落地的网友，一路聊下来按照对方的诉求大概分为三类，第一种是最多的就是年后返工公司领导让落地 RAG，但是一时没有头绪的过来咨询的；第二种是看过我公众号上的相关案例后，想外包给我来做具体实施的；第三种有点出乎意料的是，相关的媒体来交流行业观察的。

Python编程杰哥
2025-12-04 11:20:29

 967

 26

#开源 #transformer #自然语言处理 +2
多模态大语言模型arxiv论文略读（九十）

➡️ 论文标题：Hybrid RAG-empowered Multi-modal LLM for Secure Data Management in Internet of Medical Things: A Diffusion-based Contract Approach➡️ 论文作者：Cheng Su, Jinbo Wen, Jiawen Kang, Yonghua Wang, Yuanji

Jamence
2025-05-23 08:49:38

 1386

 17

#语言模型 #人工智能 #自然语言处理 +1
深入解析循环神经网络：从理论到NLP实战

在自然语言处理领域，每个单词的出现都承载着时间维度上的关联性。与图像分类的"瞬间判断"不同，时序建模需要机器像人类阅读书籍一样，理解上下文之间的隐含联系。在医学文本分析中，这种结构能准确解析如："The tumor is benign despite initial concerns" 中的转折语义。这种结构在处理短文本（如推文）时表现良好，但当序列长度超过50步时，梯度消失问题会使早期词语的影响

 llllilillli
2025-05-25 20:22:16

 1432

 38

#rnn #自然语言处理 #人工智能
从零开始讲LLM（大语言模型）原理-2.2Encoder-Decoder

在《Attention is All You Need》中，作者摒弃传统的 RNN、CNN 架构，仅依靠注意力机制构建出 Transformer 模型，引发了 NLP 领域的重大变革。Transformer 的核心组件为编码器（Encoder）和解码器（Decoder），二者均运用了注意力机制。后续基于 Transformer 发展的预训练语言模型，多通过对 Encoder - Decoder 部

 2201_75917362
2025-07-20 00:09:38

 1007

 9

#语言模型 #人工智能 #自然语言处理
自然语言处理中的文本特征工程与循环神经网络模型解析

本文解析 NLP 中文本特征处理与循环神经网络（RNN）模型。文本特征部分，N-Gram 通过组合连续字词生成上下文特征（如 bi-gram），代码演示 n 元组提取；利用 Keras 工具实现文本长度规范，通过截断或补零统一输入维度。模型层面，传统 RNN 捕捉序列依赖，LSTM 以门控机制解决梯度消失，Bi-LSTM 双向计算增强语义捕捉。结合 PyTorch 代码，阐释 RNN 层参数（输入

 taisu001
2025-06-08 01:34:06

 591

 5

#深度学习 #人工智能 #pytorch +2
NLTK与深度学习的自然语言处理实战：NLTK基础入门-文本分类与应用

本实验介绍了使用NLTK进行文本分类的全过程，包括文本预处理（清洗、分词、去停用词）、特征提取（词袋模型、TF-IDF）以及模型训练与评估。通过实际代码示例，演示了如何使用NLTK和sklearn实现文本分类任务，包括朴素贝叶斯分类器的应用和分类性能评估指标的获取。实验旨在帮助学习者掌握文本分类的基本原理和NLTK工具的使用方法，为自然语言处理应用打下基础。

WSSWWWSSW
2025-09-09 15:59:37

 784

 18

#深度学习 #自然语言处理 #分类
NLP框架入门到精通，收藏这篇就够了！从RNN的“初心”到Transformer的“霸权”！

NLP领域中，特征提取可谓是经历了显著的“变迁”与发展。回首过往，RNN曾以其独特的序列建模能力一度引领潮流，如今正如同明日黄花，逐步淡出历史舞台。紧接着，LSTM以解决长时依赖问题的独特设计展现出强大的生命力，虽已非最前沿，却仍老骥伏枥，若能进一步优化，其潜力不可小觑。

Python编程杰哥
2025-12-03 10:57:00

 1042

 29

#自然语言处理 #rnn #transformer +4
【自然语言处理】基于长短期记忆实现的语言模型

本文介绍了长短期记忆网络（LSTM）的原理与实现。LSTM通过门控机制（遗忘门、输入门、输出门）和细胞状态设计，有效解决了传统RNN的梯度消失/爆炸问题，能够长期保留语义信息。文章详细推导了LSTM的数学公式，包括各门控计算和状态更新过程，并提供了完整的Python实现代码。该模型在文本序列处理中表现优异，能精准捕捉长期依赖关系。实验使用经济全球化文本作为语料库，通过词嵌入和批量训练构建语言模型，

2401_84149564
2025-08-31 01:35:23

 1093

 27

#自然语言处理 #语言模型 #人工智能 +4
SOONet部署教程：Kubernetes Helm Chart封装+HPA自动扩缩容配置示例

本文介绍了如何在星图GPU平台上自动化部署SOONet镜像，实现基于自然语言输入的长视频片段时序定位功能。该镜像能够快速处理小时级别视频，通过简单的文本描述精准定位相关片段，适用于视频内容检索、智能剪辑等场景，大幅提升视频处理效率。

息相吹
2026-02-16 00:14:26

 314

 10

#自然语言处理
智能语言模型十年演进（2015–2025）

摘要： 2015-2025年，智能语言模型从RNN/LSTM序列预测（参数百万级）跃迁至万亿级多模态VLA大模型（参数十万亿级），零样本泛化率从70%提升至99%以上。中国实现从技术跟随（2015年LSTM）到全球领跑（华为盘古、阿里通义千问等），推动模型能力从文本生成升级为实时多感官意图理解与行动。关键里程碑包括：2017年Transformer革命、2021年千亿参数MoE架构、2023年多模

 jzwspace
2026-01-06 10:10:03

 802

 17

#语言模型 #人工智能 #自然语言处理 +4
CasRel开源镜像免配置部署：Kubernetes集群中水平扩展关系抽取服务

本文介绍了如何在星图GPU平台自动化部署CasRel关系抽取模型镜像，实现从非结构化文本中高效提取结构化关系信息。该方案支持在Kubernetes集群中水平扩展服务，典型应用于企业知识库构建、新闻内容分析和智能问答系统，显著提升文本信息处理效率。

嗹国学长
2026-03-23 06:48:06

 280

 5

#自然语言处理
53、深度学习-自学之路-自己搭建深度学习框架-14、使用自己的架构搭建一个通过学习模仿莎士比亚风格的2000次的文章。并且在关键层配有详细解释。在我的资源里面有对应的shakesper.txt的训练

new_hidden：当前时间步的隐藏状态，形状为 (batch_size, n_hidden)。#作用：词汇表的大小决定了嵌入矩阵的行数。self.w_hh = Linear(n_hidden, n_hidden)# self.w_hh：隐藏状态到隐藏状态的线性变换层，形状为 (n_hidden, n_hidden)。self.w_ho = Linear(n_hidden, n_output)#

华亚军
2025-02-26 10:30:36

 1291

 32

#深度学习 #人工智能 #神经网络 +2
深度学习全景指南：硬核实战版

《深度学习实战指南》摘要：本文以代码驱动方式讲解深度学习核心概念，去除空洞理论，采用平视视角的同事笔记风格。主要内容包括：1）深度学习本质是多层神经网络自动特征提取；2）主流模型架构（CNN/RNN/Transformer）及代码示例；3）关键发展节点与技术爆发条件；4）计算机视觉、NLP等典型应用场景；5）梯度下降、过拟合等核心概念解析；6）常见误区与避坑建议；7）环境配置指南。强调"

Yardon_Official
2026-03-25 22:20:29

 550

 14

#深度学习 #人工智能 #算法 +4
【NLP】RNN模型构建⼈名分类器

模型训练的损失降低快慢代表模型收敛程度, 由图可知, 传统RNN的模型收敛情况最好, 然后是GRU, 最后是LSTM, 这是因为: 我们当前处理的⽂本数据是⼈名, 他们的⻓度有限, 且⻓距离字⺟间基本⽆特定关联, 因此⽆法发挥改进模型LSTM和GRU的⻓距离捕捉语义关联的优势. 所以在以后的模型选⽤时, 要通过对任务的分析以及实验对⽐, 选择最适合的模型.LSTM. 构建GRU模型的类cl

Learn Forever
2025-06-09 12:53:05

 105

#自然语言处理 #rnn #深度学习
万字详解，大模型提示学习（Prompt Learning ）和微调（Prompt Tuning）

Self-Attention 和 Transformer 自从问世就成为了自然语言处理领域的新星。得益于全局的注意力机制和并行化的训练，基于 Transformer 的自然语言模型能够方便的编码长距离依赖关系，同时在大规模自然语言数据集上并行训练成为可能。但由于自然语言任务种类繁多，且任务之间的差别不太大，所以为每个任务单独微调一份大模型很不划算。在 CV 中，不同的图像识别任务往往也需要微调整个

 Python单行客
2025-01-23 17:40:25

 1412

 25

#学习 #人工智能 #自然语言处理 +1
RNN模型及NLP应用（5/9）——多层RNN、双向RNN、预训练

提升RNN训练效果的三种方式——双向RNN、多层RNN、预训练

 誉鏐
2025-03-30 22:10:13

 1341

 18

#rnn #自然语言处理 #人工智能
Google Discover与AI模式对出版商的影响：2025年SEO洞察与策略

Search Engine Journal》发布文章《Google Discover、AI模式及其对出版商的意义：John Shehata访谈》，通过对新闻SEO专家John Shehata的采访，探讨了Google Discover桌面版推出和AI模式（AI Mode）兴起对新闻出版商的影响。文章分析了Google Discover作为流量来源的潜力与不稳定性，以及AI模式对传统搜索流量的威胁，

专业WP网站开发-Joyous
2025-05-31 00:19:37

 776

 24

#人工智能 #大数据 #自然语言处理
Day32_【 NLP _2.RNN及其变体 _(1)传统RNN模型】

循环神经网络（RNN）是一种处理序列数据的深度学习模型，具有记忆功能，能存储并利用历史信息。RNN可分为不同类型（如NvsN、LSTM、GRU等），其核心结构通过隐藏状态h传递序列信息。API使用中需注意输入/输出维度匹配，默认全零初始化h0。RNN优点包括结构简单、资源要求低，在短序列任务中表现良好；但存在梯度消失、训练爆炸风险，且不适用于长序列任务。深层理解表明批量处理与单个样本处理结果等效。

l12345sy
2025-10-16 13:33:10

 647

 10

#自然语言处理 #人工智能
【AI测试全栈：质量模型】3、AI测试质量革命：FATE四要素模型深度解析与Python+Java+Vue全栈实现

随着人工智能（AI）技术在金融、医疗、招聘等关键领域的深度渗透，传统软件测试金字塔模型已难以应对AI系统的非确定性、黑箱特性及伦理风险。本文提出并系统解析AI测试质量新范式——FATE四要素模型（公平性Fairness、问责性Accountability、透明度Transparency、伦理性Ethics），从理论架构到技术实现，完整呈现基于Python+Java+Vue的全栈解决方案。通过多场景

 cherry_0523
2025-12-28 07:00:00

 1063

 26

#人工智能 #机器学习 #自然语言处理
UserWarning: Could not find response key `[2468, 8757, 842, 91, 29, 77091...报错解决

目前在复现 https://github.com/RManLuo/graph-constrained-reasoning/tree/main 这个项目，改用自己的数据集去做。也有解决方案提到一些其他办法：https://github.com/huggingface/trl/issues/588。我的这个是 <|start_header_id|>assistant<|end_header_id|>出

 想学计算机的小白
2025-02-18 16:59:40

 303

 2

#python #自然语言处理
循环神经网络（Recurrent Neural Network, RNN）

循环神经网络（RNN）是一类特别适合于处理序列数据（如文本、语音、时间序列等）的神经网络。与传统的前馈神经网络不同，RNN通过引入循环连接来处理序列中的时序关系，使得网络可以保留和利用序列中前后单元的信息。LSTM和GRU等改进的RNN通过引入门控机制，解决了传统RNN的问题，能够更好地处理长时依赖。本文还给出了Python代码基于Pytorch对于RNN的实现。

正义的彬彬侠
2025-02-02 16:36:15

 1508

 17

#神经网络 #自然语言处理
终于有AI懂医生了!用DeepSeek-R1搭建智能病历分析系统的完整实战,大模型从入门到精通，收藏这篇就够了

今天就来跟大家分享一下，我是怎么用DeepSeek-R1搭建了一套真正实用的智能病历分析系统。这套系统现在已经在一家医院试运行了，医生们的反馈出奇的好。

AI小白龙*
2025-08-25 10:15:15

 1713

 9

#人工智能 #自然语言处理 #kubernetes
论文阅读: Innate Reasoning is Not Enough: In-Context Learning Enhances Reasoning Large Language Models w

最近推理引入LLM，称为reasoning model或RLLM。RLLM的特点是，回答前先天生成CoT(innate CoT)，包含反思和自我纠正。目前的研究是，innate CoT能显著增强模型的推理能力。传统的CoT的研究，不好的few-shot CoT是会降低模型性能。另一方面，既然模型能够自己生成CoT，那么输入的promt中CoT还重要吗？对于一般CoT的研究，一开始是few-shot

yul1024
2025-04-10 19:06:37

 823

 8

#语言模型 #人工智能 #自然语言处理 +3
Chapter3 大语言模型

摘要本文介绍了大语言模型的核心技术，重点解析了Transformer架构及其关键组件。首先回顾了从N-gram到RNN、LSTM的语言模型发展历程，指出传统方法的局限性。然后详细阐述了Transformer的自注意力机制、多头注意力、前馈网络等核心模块的工作原理。文章还探讨了Decoder-only架构的自回归生成过程，以及提示工程中的采样参数(Temperature、Top-k、Top-p)对

 -randi-
2025-12-23 22:40:50

 638

 11

#语言模型 #人工智能 #自然语言处理
从ERNIE V1到ERNIE 4.5-VL：进化之路与雄心

在AI大模型的历史长河中，百度的ERNIE（Enhanced Representation through kNowledge IntEgration）家族占据着一个独特且重要的生态位。它的进化之路，如同一部微缩的AI发展史，清晰地折射出从自然语言理解（NLU）到生成式AI，再到如今多模态智能的技术演进脉络。

linjianyong00111
2025-07-18 11:33:53

 971

 24

#人工智能 #深度学习 #自然语言处理 +1
Pixel Dimension Fissioner惊艳案例：中文古诗英译的风格可控裂变（Shakespearean/Modern/Concise）

本文介绍了如何在星图GPU平台上自动化部署🕹️ 像素语言 · 维度裂变器 (Pixel Dimension Fissioner)镜像，实现中文古诗的英文风格可控转换。该工具支持莎士比亚式、现代英语和极简主义三种风格裂变，可应用于文学翻译、教育出版等领域，为跨文化传播提供高效解决方案。

黄涵奕
2026-03-21 00:08:53

 191

 6

#自然语言处理
Transformer模型背后的秘密：深度解析其提出动机与设计理念！

Transformer模型提出的主要动机是为了解决传统循环神经网络（如RNN和LSTM）在处理序列数据时存在的计算效率和并行性限制问题。

健忘的派大星
2025-12-20 13:59:46

 929

 13

#transformer #深度学习 #人工智能 +3