transformer标签_开源鸿蒙跨平台开发者社区

transformer

【2025年最好创新的KAN网络模型】KAN、CNN-KAN、CNN-LSTM-KAN、LSTM-KAN、TCN-KAN、LSTM-KAN、Transformer-KAN比较（Python代码实现）

本文以西安市2025年每小时PM2.5浓度预测为基准任务，系统比较了六种基于Kolmogorov-Arnold Networks（KAN）的创新混合架构：KAN、CNN-KAN、CNN-LSTM-KAN、LSTM-KAN、TCN-KAN和Transformer-KAN。通过理论分析与实验验证，揭示了不同架构在时间序列建模中的性能差异及适用场景。实验表明，Transformer-KAN在长程依赖建模

 抬头望远方
2026-01-20 08:35:31

 457

 15

#cnn #lstm #transformer +1
Vision Transformer原理及代码学习【新芽第四周】

对于RNN，通过前一时间步的隐藏状态和历次输入的共同作用来得到输出，对于简单的文本序列比较友好，由于参数量少，其推理速度快，但是面对长文本序列时，如针对大篇幅的文章摘要，开头关键词的重要性会随着文章段落的增长而逐渐被稀释。其实简单来讲，有点类似于分组卷积，本质就是将参数矩阵给拆分成head数量，分别组成不同组的V、K和Q来各自做self-attention，最后合并后和一个可训练的参数。，需要注意

 21020007092
2025-08-10 22:16:26

 1091

 25

#transformer #学习 #深度学习 +2
斯坦福大佬笔记曝光！带你彻底搞懂 Transformer 与 LLM 大语言模型

想象一下你在阅读一句话：“我今天下午在公园里看到一只可爱的泰迪熊在看书。”过去的模型（比如 RNN、LSTM）就像一个眼神不太好的人，从左到右一个词一个词地读，读到后面的词就可能忘了前面的细节，而且一次只能处理一个词，效率不高。处理长句子时，它可能只记得“看书”，但忘了是谁在看书（泰迪熊）。

我爱学AI
2025-06-03 16:14:39

 1134

 22

#transformer #语言模型 #人工智能 +1
base-llm Task01注意力机制: 从autoencoder到seq2seq, 再到attention和transformer

seq2seq 核心思想，先完整阅读所有内容，形成一个结果，这个结果叫语义表示，然后基于这个结果，根据任务要求的语言，进行逐词的翻译。形成语义表示的的功能，是编码器完成的，面向任务语言进行逐词翻译的功能，是解码器完成的。生成每一个词元时，允许它看一遍完整的输入序列，并根据需求，自主给输入序列的每个部分分配不同的注意力权重，然后基于权重将输入信息加权求和，生成一个。在多对多+输出输入长度不等的问

 yulinlinlighter
2026-01-14 23:55:06

 61

#transformer #深度学习 #人工智能
AI新手必看：特征工程与数据预处理

本文深入探讨了人工智能和机器学习中特征工程与数据预处理的核心概念及其重要性。特征工程涉及从原始数据中提取、选择和转换特征，以优化模型性能，而数据预处理则包括数据清洗、标准化和编码等步骤，确保数据适合模型训练。文章详细介绍了特征提取、选择和转换的常用方法，以及数据清洗、标准化和编码的技术。此外，通过一个实战案例，展示了如何使用Python和Scikit-learn对鸢尾花数据集进行特征工程

 六月星辰梓
2025-05-19 14:34:11

 868

 10

#人工智能 #transformer #opencv +3
【Transformer回归预测】基于贝叶斯网络BO-Transformer-GRU实现车辆数据多输入多输出预测附matlab代码

车辆数据预测是智能交通系统（ITS）的核心组成部分，对于交通流量优化、车辆调度、安全预警等方面具有重要的意义。传统的预测方法，如基于统计模型的ARIMA模型和基于机器学习模型的支持向量机（SVM）等，在处理非线性、时序依赖性强的车辆数据时往往表现出局限性。近年来，深度学习的快速发展为车辆数据预测提供了新的思路。其中，循环神经网络（RNN）及其变种，如长短期记忆网络（LSTM）和门控循环单元（GRU

Matlab_数学建模助手
2025-04-09 12:54:40

 959

 26

#transformer #回归 #网络
transformer模型详解从分词到自注意力机制

自注意力机制让序列中的每个Token（如单词、字符）都能“关注”到序列中所有其他Token，并根据关联强度分配权重，最终生成融合全局上下文的Token表示。通俗理解：好比阅读时，每个词都会“回头看”全文，重点关注与自己语义相关的词（如“他”会关注前文提到的人名），忽略无关词。核心优势：并行计算（O(n²)时间复杂度，n为序列长度），效率远超RNN的O(n)串行；长距离依赖捕捉能力强（无距离限制，不

 一只黑鸟
2025-12-05 17:00:00

 1276

 14

#transformer #深度学习 #人工智能 +1
2025年Transformer面试题库大全：84道题全面汇总，大模型面试必备神器，所有要面试大模型的必看！

本文系统梳理了Transformer模型的核心技术要点，涵盖基础原理、训练优化、应用实践等5大模块共84个关键技术问题。从多头注意力机制、位置编码等数学原理，到LayerNorm与BatchNorm的对比分析；从Embedding层复杂度优化，到降低O(n²)计算量的方案；从Zero-shot Learning实现，到对话系统离题检测等应用场景。文章不仅深入解析了QKV矩阵、残差结构等核心组件，还

 拥抱AGI
2025-06-16 18:05:26

 1177

 34

#人工智能 #产品经理 #transformer +1
企业RAG实施终极避坑指南！这5大误解，90%的项目都中招过！

春节之后的一个月的时间内，微信和小红书上数了下大概有 150 多个过来咨询 RAG 在企业落地的网友，一路聊下来按照对方的诉求大概分为三类，第一种是最多的就是年后返工公司领导让落地 RAG，但是一时没有头绪的过来咨询的；第二种是看过我公众号上的相关案例后，想外包给我来做具体实施的；第三种有点出乎意料的是，相关的媒体来交流行业观察的。

Python编程杰哥
2025-12-04 11:20:29

 967

 26

#开源 #transformer #自然语言处理 +2
从RNN到Transformer：深度学习架构革命

本文深入解读Transformer模型论文《Attention is All You Need》，系统梳理了从机器学习基础到深度学习架构的演进过程。首先介绍决策树等基础概念，然后分析RNN、CNN等序列模型的局限性，重点讲解Transformer的核心设计：基于缩放点积注意力和多头注意力的编码器-解码器架构，详细说明位置编码、层归一化等关键技术，并对比不同架构的计算复杂度。最后评价论文的创新意义和

 Zhang_Xuu
2025-10-19 22:00:26

 1347

 32

#深度学习 #rnn #transformer
解析transformer——4: Add&Norm，残差连接与layernorm

本文介绍了Transformer中的Add&Norm模块，详细解析了归一化、LayerNorm与BatchNorm的区别以及残差连接的作用。归一化通过缩放数据解决梯度下降问题；LayerNorm按样本计算均值和方差，适合序列模型；残差连接则用于构建深层网络避免梯度消失。文章还提供了代码实现，展示如何在PyTorch中应用这些技术。

zdx3456789
2025-10-19 13:16:51

 1218

 28

#transformer #深度学习 #人工智能 +2
NLP框架入门到精通，收藏这篇就够了！从RNN的“初心”到Transformer的“霸权”！

NLP领域中，特征提取可谓是经历了显著的“变迁”与发展。回首过往，RNN曾以其独特的序列建模能力一度引领潮流，如今正如同明日黄花，逐步淡出历史舞台。紧接着，LSTM以解决长时依赖问题的独特设计展现出强大的生命力，虽已非最前沿，却仍老骥伏枥，若能进一步优化，其潜力不可小觑。

Python编程杰哥
2025-12-03 10:57:00

 1042

 29

#自然语言处理 #rnn #transformer +4
在transformer中使用househoulder reflection(mirror transform)替代layernorm

从复杂度上来讲，其实要比layernorm要高，但是更简明和几何化。

冬虫夏草1993
2025-11-20 17:12:34

 206

 2

#人工智能 #transformer
Transformer 深度拆解：一个会 “多线程思考“ 的智能翻译工厂

Transformer通过并行计算和注意力机制颠覆了传统序列模型。它将输入文本转换为数字向量并添加位置编码，通过编码器和解码器的多层结构处理信息。核心是多头注意力机制，能同时关注不同位置的语义关系，并通过残差连接和层归一化优化训练。相比RNN，Transformer能并行处理整个句子，捕捉长距离依赖关系，实现更高效的翻译和语义理解。2017年提出的这一架构成为NLP领域的重要突破。

梨籽
2025-11-09 17:27:32

 832

 19

#transformer #深度学习 #人工智能
【Hung-yi Lee】《Introduction to Generative Artificial Intelligence》（5）

图片来自于 midjourney。

bryant_meng
2026-03-24 14:30:15

 519

 9

#人工智能 #深度学习 #AIGC +1
Transformer可以代替seq2seq的原因

Transformer 能够全面替代传统的，主要是因为它在建模能力、效率和可扩展性上全面优于基于 RNN 的 Seq2Seq。以下是原因的详细解析。

Wei_sx
2025-07-15 15:02:16

 699

 14

#transformer
PyTorch实战：从零搭建Transformer（附完整代码）

摘要 Transformer作为深度学习领域的里程碑模型，基于自注意力机制彻底改变了自然语言处理任务，成为ChatGPT等主流大模型的核心基础。其架构分为Encoder和Decoder两部分，采用并行计算替代传统RNN的串行结构，显著提升训练效率。输入部分通过词嵌入将离散文本映射为连续向量，并加入位置编码保留序列信息。PyTorch框架为Transformer实现提供了高效支持。模型通过多层Enc

AI劳模
2025-10-18 11:44:01

 1299

 9

#pytorch #transformer #人工智能 +2
有图有真相 MATLAB实现基于MAML-Transformer 模型无关元学习方法（MAML）结合 Transformer 编码器进行多变量时间序列预测（代码已调试成功，可一键运行，每一行都有详细注

本文介绍了一个基于MAML（Model-Agnostic Meta-Learning）和Transformer编码器的多变量时间序列预测模型。该MATLAB脚本(2025b版)实现了完整的工作流程，包括：数据模拟：生成包含5种特征和目标的模拟数据（50,000样本）序列构建：采用64步窗口和1步预测的监督学习格式模型架构：使用Transformer编码器网络，包含可配置的嵌入维度、注意力头和

 xiaoxingkongyuxi
2026-01-04 12:00:00

 1919

 45

#matlab #transformer #学习方法 +4
LSTM 与 Transformer 结合竟能让时空建模如此简单！

本文探讨了LSTM与Transformer在时空建模中的互补性及其融合应用。LSTM擅长时序分析但空间建模不足，Transformer精于空间关系却存在时序损耗，两者结合可解决智能电网、自动驾驶等场景的复杂预测问题。研究提出了SwinLSTM等新型融合架构，通过分层处理实现"时序提取+空间融合"，实验表明其预测精度显著提升。此外，Transformer-LSTM-PSO模型结合

 六月星辰梓
2025-06-05 14:32:03

 1363

 12

#lstm #transformer #人工智能 +3
Transformer中Query-Key-Value（QKV）机制的详细解析

Transformer模型中的Query-Key-Value（QKV）机制是其自注意力模块的核心，用于动态捕捉序列中的上下文关系。Q（Query）代表当前词需要查询的信息，K（Key）表示每个词能提供的信息，V（Value）则是实际传递的信息。通过Q与K的匹配，模型能够确定哪些词与当前词相关，并聚合它们的V。这种机制取代了传统RNN/CNN的固定模式交互，实现了长距离依赖的直接建模和并行计算。此外

 Angels5280
2025-05-13 11:47:55

 1816

 9

#transformer #深度学习 #人工智能
收藏备用！大模型&算法面试宝典，小白+程序员必看（Transformer+RAG+并行技术全解析）

首先明确核心前提：Transformer的自注意力机制是“无序的”——它只关注token之间的关联，不具备天然的序列顺序感知能力（不像RNN逐token处理，自带顺序信息），因此必须通过额外的位置编码，为每个token添加“位置标识”，让模型知道token在序列中的先后顺序。绝对位置编码是最基础、最常用的位置编码方式，核心逻辑是：为序列中的每个位置（每个token）分配一个唯一的向量，将该向量与t

程序媛饺子
2026-02-06 14:01:15

 451

 5

#算法 #面试 #transformer +1
CVPR 即插即用 | PConv：重新定义高效卷积，一个让模型“跑”得更快、更省的新范式

本文提出了一种新型卷积算子PConv和高速网络FasterNet。核心创新在于：1）突破传统单纯优化FLOPs的思路，提出提升每秒浮点运算次数(FLOPS)才是加速关键；2）设计部分卷积(PConv)，仅处理1/4输入通道，大幅减少计算量和内存访问；3）构建简洁的FasterNet架构，在多个硬件平台实现顶尖推理速度。PConv通过利用通道冗余性，结合后续PWConv形成T形计算模式，比DWCon

AI模块工坊
2025-10-29 15:43:03

 1232

 18

#transformer #深度学习 #人工智能 +1
TrOCR（Transformer-based Optical Character Recognition）是微软提出的一种端到端基于 Transformer 架构的光学字符识别（OCR）模型，由预训

TrOCR是一种基于Transformer的端到端光学字符识别模型，由图像编码器和文本解码器组成，支持多语言识别。它能处理384×384分辨率图像，分割为16×16块输入模型，无需CNN、RNN或外部语言模型。该模型对字体、方向及噪声具有鲁棒性，适用于手写体和印刷体识别。通过Hugging Face可快速部署，示例代码展示了从手写图片中提取文本的流程。其优势包括端到端处理、多语言支持和强大的适应性

 zhangfeng1133
2025-07-11 19:42:01

 622

 3

#transformer #microsoft #计算机视觉 +1
Transformer模型背后的秘密：深度解析其提出动机与设计理念！

Transformer模型提出的主要动机是为了解决传统循环神经网络（如RNN和LSTM）在处理序列数据时存在的计算效率和并行性限制问题。

健忘的派大星
2025-12-20 13:59:46

 929

 13

#transformer #深度学习 #人工智能 +3
LightGBM+Transformer-GRU多变量回归交通流量预测,附模型研究报告(Matlab)

交通流量预测是智能交通系统(ITS)的核心组成部分，对于交通管理、交通规划和出行者信息服务至关重要。传统的统计模型和浅层机器学习模型难以捕捉交通流量数据复杂的时空依赖关系和非线性特征。近年来，深度学习模型，特别是循环神经网络(RNN)及其变体，在时间序列预测任务中表现出显著优势。本文提出一种基于 LightGBM 与 Transformer-GRU 混合模型的多变量回归交通流量预测方法。该方法首先

 Matlab科研工作室
2025-04-12 18:48:18

 748

 7

#transformer #gru #回归
AI LLM 模型之 Transformer 架构解析

Transformer架构解析与实现 Transformer是一种革命性的神经网络架构，完全基于注意力机制，解决了传统RNN在处理序列数据时的并行化难题和长距离依赖问题。其核心由编码器和解码器组成，采用多头自注意力机制和位置编码技术。编码器通过多层自注意力子层和前馈网络提取特征，解码器则结合掩码自注意力和编码器输出逐步生成目标序列。位置编码通过正弦函数为序列元素注入位置信息。该架构实现了高效并行计

 陈乔布斯
2025-07-02 16:20:52

 1007

 26

#人工智能 #transformer #深度学习 +2
Transformer入门2-干货、代码

Transformer 模型本质上都是，大都采用自监督学习 (Self-supervised learning) 的方式在大量生语料上进行训练，也就是说，训练这些 Transformer 模型完全不需要人工标注数据。我们通常还会采用方法，使用特定任务的标注语料，以有监督学习的方式对预训练模型参数进行微调 (fine-tune)，以取得更好的性能。

m0_54812357
2025-05-22 16:04:03

 1738

 28

#transformer #深度学习 #人工智能
LLM-25Transformer自注意力机制原理

摘要：Transformer的自注意力机制通过Query、Key、Value三个变换矩阵实现动态注意力分配。其核心思想是让每个词元能同时关注整个序列中所有相关词元，类似人类阅读时的注意力分配过程。该机制包含三个关键步骤：计算注意力分数（Q×K^T）、应用softmax获得权重、加权求和Value向量。引入缩放因子（√d_k）可防止高维时softmax梯度消失问题。可视化分析显示，缩放能有效控制注意

 dijk
2025-09-20 09:48:27

 830

 6

#transformer
神经网络和深度学习-学习笔记

ransformer是由Google提出的一种基于自注意力机制的深度学习模型架构，最初应用于自然语言处理任务。其核心思想是通过自注意力机制捕捉序列中的长距离依赖关系，取代传统的RNN/CNN，实现并行化处理和全局信息捕捉。

huajiaoejctu
2025-06-02 17:57:05

 691

 13

#深度学习 #神经网络 #学习 +1