编译tensorflow 源码
https://www.cnblogs.com/dzzy/p/13493876.html
http://fancyerii.github.io/2020/11/14/centos-build-tf/
GPU中的Hyper-Q技术
GPU 抢占由于 GPU 核数较多, 抢占 GPU 需要保存大量的上下文信息, 开销较大, 所以目前市场上 GPU 都不支持抢占特性. 只用当前任务完成之后, GPU 才能被下个应用程序使用。 在 GPU 虚拟化的环境中, 多用户使用的场景会导致 GPU 进行频繁的任务切换, 可抢占的 GPU 能够防止恶意用户长期占用, 并且 能够实现用户优先级权限管理。
123456A CUDA context is a virtual execution space that holds the code
...
云原生主要技术
上一篇文章介绍了云计算和云原生，这里讲一下云原生的主要技术，主要包括容器、微服务、DevOps、ServiceMesh、ServerLess、声明式API，当然我这里并不会将具体的技术，主要还是概念相关的东西了。先上一个CNCF 生态的技术栈，前几年看的时候，没有几个，今天一看，真多啊
容器还是先上一张PPT的截图吧，简单明了。
1、容器作为应用的集装箱，封装应用的依赖，简化应用的部署，集装箱的这个类比，戳中了众多应用开发者的痛点，在没有使用容器之前，部署一个应用+升级一个应用是非常复杂，而
...
声明式API
声明式API的核心原理，就是当用户向 Kubernetes 提交了一个 API 对象的描述之后，Kubernetes 会负责为你保证整个集群里各项资源的状态，都与你的 API 对象描述的需求相一致。更重要的是，这个保证是一项“无条件的”、“没有期限”的承诺：对于每个保存在 etcd 里的 API 对象，Kubernetes 都通过启动一种叫做“控制器模式”（Controller Pattern）的无限循环，不断检查，然后调谐，最后确保整个集群的状态与这个 API 对象的描述一致。
简单理解就是对
...
Linux的tempfs
###tempfs简介
tmpfs 是 Linux/Unix 系统上的一种基于内存的文件系统，即 tmpfs 使用内存或 swap 分区来存储文件。Linux 内核中的 VM 子系统负责在后台管理虚拟内存资源 Virtual Memory，即 RAM 和 swap 资源，透明地将 RAM 页移动到交换分区或从交换分区到 RAM 页，tmpfs 文件系统需要 VM 子系统的页面来存储文件。tmpfs 自己并不知道这些页面是在交换分区还是在 RAM 中；做这种决定是 VM 子系统的工作。tmpfs
...
kubernetes apps删除流程
问题描述最近遇到了好几个Kubernetes集群出现了删除Statefulset时，Pod未被删除的问题，经过定位是开发同事，基于farbric 的k8s api进行删除statefulset的操作，调用了删除statefulset的接口后，又调用了删除pod的接口，但是都是使用的默认删除方式，非级联删除（Orphan策略），这在某些情况下，可能只是调用了删除statefulset的接口，但是未调用删除Pod的接口，就会出现Pod未被删除的，此时Pod的metadat内可能仍然存在，但是kube
...
ngc cuda11镜像运行mpi任务
ngc官网的cuda 11镜像如果运行MPI任务，以太网使用以下命令提交训练任务，否则会出现以下错误
这是由于镜像内置了ucx 组件，需要IB的支持，如果没有IB的话，会报错，建议使用一下命令运行mpi任务
1mpirun --oversubscribe --allow-run-as-root -np 2 -mca pml ob1 python /inspur/models/horovod/tensorflow_mnist.py --data_dir
...
GPU 相关的基础知识
整理了认为了解GPU，比较重要的几个概念###CPU与GPU的区别CPU需要很强的通用性来处理各种不同的数据类型，还需要进行多种逻辑判断，引入大量的分支跳转和中断处理。GPU面对的则是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境，如下图所示（绿色的是计算单元，橙红色的是存储单元，橙黄色的是控制单元），与CPU擅长逻辑控制、串行的运算、通用类型数据运算不同，GPU擅长的是大规模并发计算，GPU的工作部分计算量大，但没有什么技术含量,而且需要重复很多次。CPU与GPU相比就类
...
com.sun.image.codec.jpeg does not exist
问题描述一个项目在windows下执行mvn package正常，但是放在Linux环境下，会出现找不到com.sun.image.codec的问题，如下所示
1234567891011121314151617181920212223242526272829303132333435[ERROR] COMPILATION ERROR : [INFO] -------------------------------------------------------------[ERROR] /
...