首页
编程日记
ChatGpt专题
LINUX学习
Java学习
前端教程
单片机
导航
图论
堆
nosql
全志
负载均衡
RK3399
决策树
FANUC机器人
bi
cannonjs
photoshop
NOIP
iwebsec
nullptr
数字电路
逆向分析
插入排序
飞机游戏
大学生网页作业
推理框架
2024/4/13 14:49:54
ncnn源码阅读(一)----阅读方法和参考教程
〇、ncnn源码阅读的方法和参考教程 目前我的工作涉及推理框架较多,所以就想阅读一些他人的开源框架,来提升自己在语言层面和框架层面的认知。这个过程中发现了一些比较好的教程,我的阅读ncnn源码之旅将参考 嘻嘻嘻大佬。 一、从下载代码开始…
阅读更多...
LLM推理框架Triton Inference Server学习笔记(一): Triton Inference Server整体架构初识
官方文档查阅: TritonInferenceServer文档 1. 写在前面 这篇文章开始进行大语言模型(Large Language Model, LLM)的学习笔记整理,这次想从Triton Inference Server框架开始,因为最近工作上用到了一些大模型部署方面的知识, 所以就快速补充了…
阅读更多...
移动端推理引擎通用性小测
移动端推理引擎通用性小测 推理引擎 引擎公司Commit id(或Tag)链接使用方法MNN阿里巴巴2.6.0https://github.com/tensorflow/tensorflow/tree/v2.13.0-rc1https://mnn-docs.readthedocs.io/en/latest/start/overall.htmlTensorFlow Lite谷歌v2.13.0-rc1https://github.com/te…
阅读更多...
【Kuiperinfer】笔记04 计算图的定义
文章目录 本节总览PNNX计算图测试模型Graph单元测试 - 输出算子单元测试 - 输出操作数 Operator单元测试 Parameter 和 AttributeOperand单元测试 Kuiperinfer封装从PNNX::Operator到Kuiper::RuntimeOperator初始化RuntimeOperator中的RuntimeOperand初始化RuntimeAttribute初始…
阅读更多...
【Kuiperinfer】笔记01 项目预览与环境配置
学习目标 实现一个深度学习推理框架设计、编写一个计算图实现常见的算子,例如卷积、池化、全连接学会如何进行算子的优化加速使用自己的推理框架推理常见模型,检查结果是否能够和torch对齐 什么是推理框架? 推理框架用于对已经训练完成的模…
阅读更多...
极智AI | 谈谈AI发展第二篇:AI推理框架
欢迎关注我的公众号 [极智视界],获取我的更多经验分享 大家好,我是极智视界,本文来谈谈 AI推理框架,是谈谈AI发展系列的第二篇。 邀您加入我的知识星球「极智视界」,星球内有超多好玩的项目实战源码下载,链接:https://t.zsxq.com/0aiNxERDq 本文是我写的谈谈 AI 发展系…
阅读更多...
【Kuiperinfer】笔记03 张量(Tensor)类设计与实现,单元测试解析
文章目录 Tensor类的组成Tensor类设计数据顺序(行主序/列主序)使用单元测试Tensor类方法描述C中的类模板张量创建单元测试 返回维度信息单元测试 返回张量中的数据单元测试 张量填充单元测试 reshape单元测试 逐元素处理单元测试 其他辅助函数判空返回数…
阅读更多...
八. 实战:CUDA-BEVFusion部署分析-学习CUDA-BEVFusion推理框架设计模式
目录 前言0. 简述1. 回顾一下RAII是什么2. 实现类,接口类与命名空间3. CUDA-BEVFusion设计框架(namespace)4. CUDA-BEVFusion设计框架(接口类)5. CUDA-BEVFusion设计框架(实现类)6. CUDA-BEVFusion设计框架(各个类负责的内容)7. CUDA-BEVFusion中的接口函数和实现类…
阅读更多...