1 问题描述 

按照官方的写法

import torch
from transformers import pipeline
import os
os.environ["HF_TOKEN"] = ''
model_id = "meta-llama/Llama-3.2-3B"

pipe = pipeline(
    "text-generation", 
    model=model_id, 
    torch_dtype=torch.bfloat16, 
    device_map="auto"
)

pipe("The key to life is")

2 解决方法

torch.backends.cuda.enable_mem_efficient_sdp(False)
torch.backends.cuda.enable_flash_sdp(False)

禁用 PyTorch 2.x 中默认启用的 Flash Attention 和 Memory-Efficient Attention 内核

# bug
Logo
开源鸿蒙跨平台开发者社区

开源鸿蒙跨平台开发社区汇聚开发者与厂商，共建“一次开发，多端部署”的开源生态，致力于降低跨端开发门槛，推动万物智联创新。

更多推荐

7天精通Docker Compose多环境部署：企业级实战方案

Docker Compose是一款强大的工具，用于在Docker上运行多容器应用程序，通过[Compose文件格式](https://compose-spec.io)定义和配置应用的各个服务。只需一个简单的`docker compose up`命令，就能轻松创建和启动整个应用，极大简化了多容器应用的管理流程。## 第1天：Docker Compose基础与环境准备### 安装Docker

avatar 开源鸿蒙跨平台开发者社区

告别数据孤岛：Mantle与Flutter混编实现跨平台数据无缝流动

Mantle是一款专为Cocoa和Cocoa Touch应用打造的Model框架，它能帮助开发者轻松构建简洁高效的模型层，解决传统Objective-C模型对象中大量冗余代码的问题，实现跨平台数据的顺畅流动。## 传统模型开发的痛点与Mantle的优势在传统的Objective-C开发中，创建一个简单的模型对象往往需要编写大量的样板代码，包括属性声明、初始化方法、编码解码、拷贝等。以Git

avatar 开源鸿蒙跨平台开发者社区

终极容器化部署指南：如何使用gh_mirrors/do/dockerfiles实现Azure DevOps与AKS的蓝绿部署

在现代软件开发中，容器化技术已成为部署应用的标准方式。gh_mirrors/do/dockerfiles项目提供了各种用于桌面和服务器的Dockerfile，帮助开发者轻松构建和部署容器化应用。本文将详细介绍如何利用该项目实现Azure DevOps与AKS（Azure Kubernetes Service）的蓝绿部署，确保应用更新过程零停机，提升系统稳定性和用户体验。## 什么是蓝绿部署？

avatar 开源鸿蒙跨平台开发者社区