025、TOSA(Tensor Operator Set Architecture)标准介绍
TOSA(Tensor Operator Set Architecture)标准介绍上周帮团队排查一个跨框架模型部署的bug,现象很诡异:同一个ONNX模型,用ONNX Runtime跑推理结果正确,转成TFLite后在某个嵌入式设备上输出全乱码。折腾了两天,最后定位到是量化后的卷积算子在不同后端的行为不一致——有的后端把bias加在量化前,有的加在量化后,有的干脆把bias类型当int32处理,有的当float32。这种“一个算子,各自表述”的混乱,正是TOSA想要终结的。为什么需要TOSAMLIR生态里,你可能会遇到Linalg、StableHLO、MHLO、TOSA这些方言。它们都在做同一件事:把上层框架(PyTorch、TensorFlow、JAX)的算子表示,降级到硬件后端能理解的形式。但问题在于,每个方言都有自己的“脾气”。Linalg擅长表达线性代数操作,但对量化、形状推断的支持比较弱。StableHLO是HLO的稳定版本,主要服务JAX和TensorFlow,但它的语义偏向XLA编译器,对嵌入式场景的量化约束不够细。MHLO是StableHLO的前身,现在基本被取代了。TOSA的定位很明确:它是为跨框架、跨硬件的算子集标准化而生的。ARM、Google、Qualcomm、Intel这些公司一起搞的,目标就是让一个模型在CPU、GPU、NPU、DSP上跑出相同的结果。注意,是“相同的结果”,不是“差不多的结果”。TOSA的核心设

相关新闻

Day02—Lambda表达式彻底理解:不只是语法糖

Day02—Lambda表达式彻底理解:不只是语法糖

系列:Java后端工程师进阶之路 Day 2 定位:从匿名内部类到函数式接口,拆解Lambda底层实现机制(invokedynamic指令),对比性能差异 目录 一、从匿名内部类到Lambda:不只是少写几行 1.1 匿名内部…

2026/6/29 18:22:55阅读更多 →
如何选择适合制造企业的AI智能体类型

如何选择适合制造企业的AI智能体类型

一、引言制造企业的数字化进程,普遍面临一个真实困境:ERP管计划,MES管生产,PDM管图纸,OA管审批——每个系统都高效运转,但它们之间缺乏“共同语言”。订单数据在CRM生成,到了MES变成工单&#x…

2026/6/29 17:14:46阅读更多 →
实时通信深度剖析:SSE与WebSocket核心差异、适用场景及Spring Boot实战落地

实时通信深度剖析:SSE与WebSocket核心差异、适用场景及Spring Boot实战落地

在Web实时业务开发中,服务端消息推送是高频刚需场景,常见场景包含AI流式输出、系统消息通知、实时日志监控、IM即时通讯、数据大屏刷新等。目前主流的两种实时通信方案为 SSE(Server-Sent Events) 和WebSocket。多数开发者在项目开…

2026/6/29 17:10:46阅读更多 →
如何完整恢复老旧iOS设备:5步快速降级与越狱教程

如何完整恢复老旧iOS设备:5步快速降级与越狱教程

如何完整恢复老旧iOS设备:5步快速降级与越狱教程 【免费下载链接】Legacy-iOS-Kit An all-in-one tool to restore/downgrade, save SHSH blobs, jailbreak legacy iOS devices, and more 项目地址: https://gitcode.com/gh_mirrors/le/Legacy-iOS-Kit 你是否…

2026/6/29 23:17:55阅读更多 →
还在愁毕业论文写不完?9款AI论文网站一键生成逻辑连贯初稿!

还在愁毕业论文写不完?9款AI论文网站一键生成逻辑连贯初稿!

还在为论文写作的低效重复、内容单薄、格式规范等问题焦虑?AI赋能学术写作的时代已来,9款免费AI工具可覆盖论文写作全流程,助你告别传统写作的痛苦循环。其中千笔AI能30分钟生成20万字全学科初稿,还集成改稿、降重、绘图等一站式功…

2026/6/29 23:17:55阅读更多 →
HarmonyOS技术精讲-应用间跳转:一键调用系统能力(系统应用跳转)

HarmonyOS技术精讲-应用间跳转:一键调用系统能力(系统应用跳转)

系统应用跳转的“套路” HarmonyOS NEXT 开发里,应用间跳转是个高频需求。最常见的场景就是“一键调用系统应用”——点击“打电话”按钮调出拨号盘、点击“设置”按钮直达 WLAN 设置页、点击“拍照”唤起相机。 很多人第一次接触时,会直接去看官方文档…

2026/6/29 23:17:55阅读更多 →
5大架构设计原则:深入剖析React Icons开源项目架构

5大架构设计原则:深入剖析React Icons开源项目架构

5大架构设计原则:深入剖析React Icons开源项目架构 【免费下载链接】react-icons svg react icons of popular icon packs 项目地址: https://gitcode.com/gh_mirrors/re/react-icons 在当今前端开发领域,图标系统的设计已成为影响应用性能、开发…

2026/6/29 23:17:55阅读更多 →
MySQL 8.0——Replication

MySQL 8.0——Replication

Replication1、MySQL Replication概述2、Windows环境下的MySQL主从复制2.1、复制前的准备工作2.2、Windows环境下实现主从复制2.3、Windows环境下主从复制测试3、Linux环境下的MySQL复制3.1、下载并安装MySQL 8.03.2、单机主从复制前的准备工作3.3、MySQLd_multi实现单机主从复…

2026/6/29 23:17:55阅读更多 →
正则表达式详解(C++20 )

正则表达式详解(C++20 )

正则表达式详解(C20 ) 1. 什么是正则表达式 正则表达式(Regular Expression,简称 regex)是一种用于描述字符串匹配模式的强大工具。它本质上是一种微型的领域特定语言,通过特定的语法规则来定义一组字符串的…

2026/6/29 23:12:54阅读更多 →
AI Coding 六个月真实ROI账本:产品经理的血泪教训,研发的冷静忠告

AI Coding 六个月真实ROI账本:产品经理的血泪教训,研发的冷静忠告

6个月前的2025年12月,Boris Cherny 公开宣布自己卸载了 IDE。一时间,Vibe Coding 成了全行业最热的话题。6个月后,当我们回过头来拉一份真实账本,发现事情远没有"一句话生成一个App"那么浪漫。本文从产品经理和研发两个…

2026/6/29 3:27:55阅读更多 →
审计来了,数据权限全开——审计走了,怎么确保权限全部关掉?

审计来了,数据权限全开——审计走了,怎么确保权限全部关掉?

引言:审计结束三个月了,审计员的权限还没关某城商行每年按照监管要求开展至少一次数据安全审计。审计期间,内审部门需要抽样检查各类业务数据——交易流水、客户信息、员工操作日志、权限配置记录。这些数据分布在不同系统中,审计…

2026/6/29 2:19:08阅读更多 →
如何在3秒内从普通图片生成专业级法线贴图:DeepBump的终极指南

如何在3秒内从普通图片生成专业级法线贴图:DeepBump的终极指南

如何在3秒内从普通图片生成专业级法线贴图:DeepBump的终极指南 【免费下载链接】DeepBump Normal & height maps generation from single pictures 项目地址: https://gitcode.com/gh_mirrors/de/DeepBump 还在为3D建模中的纹理制作而烦恼吗?…

2026/6/29 0:01:47阅读更多 →
OCAuxiliaryTools:终极OpenCore配置工具,让黑苹果安装从未如此简单!

OCAuxiliaryTools:终极OpenCore配置工具,让黑苹果安装从未如此简单!

OCAuxiliaryTools:终极OpenCore配置工具,让黑苹果安装从未如此简单! 【免费下载链接】OCAuxiliaryTools Cross-platform GUI management tools for OpenCore(OCAT) 项目地址: https://gitcode.com/gh_mirrors/oc/OCA…

2026/6/29 0:01:47阅读更多 →
终极Windows 11精简指南:使用tiny11builder快速创建纯净系统镜像

终极Windows 11精简指南:使用tiny11builder快速创建纯净系统镜像

终极Windows 11精简指南:使用tiny11builder快速创建纯净系统镜像 【免费下载链接】tiny11builder Scripts to build a trimmed-down Windows 11 image. 项目地址: https://gitcode.com/GitHub_Trending/ti/tiny11builder 你是否厌倦了Windows 11系统自带的20…

2026/6/29 0:01:47阅读更多 →