发表于
字数统计: 824字 | 阅读时长 ≈ 3分钟
在AI中常提32位浮点数、16位浮点数，混合精度。。这里重点说一下32位浮点数的表示先来一张图 浮点数的计算方式其中s是符号位，e是指数位，m是有效数位组成的数。m的计算方式是 所以上图表示的数字就是 采用这种表示方式的结果是，两个浮点数之间的“间隔”是均匀的。什么意思？ 比如说，我想表示浮点数1的话，那么我的二进制位就是： 0 01111111 00000000000000000000000 我想表示2的话，二进制位就是 0 10000000 0000000000000000000000 ...
阅读全文 »

发表于
字数统计: 1.5k字 | 阅读时长 ≈ 5分钟
问题详情深度学习中常常需要多GPU并行训练，而Nvidia的NCCL库NVIDIA/nccl（https://github.com/NVIDIA/nccl）在各大深度学习框架（Caffe/Tensorflow/Torch/Theano）的多卡并行中经常被使用，请问如何理解NCCL的原理以及特点？ 回答NCCL是Nvidia Collective multi-GPU Communication Library的简称，它是一个实现多GPU的collective communication通信（all ...
阅读全文 »

发表于
字数统计: 449字 | 阅读时长 ≈ 1分钟
啥是MMIO啊MMIO（内存映射IO），是PCI规范的一部分，IO设备被在内存空间，而不是放在IO空间，处理器的角度看，内存映射I/O后系统设备访问起来和内存一样。这样访问AGP/PCI-E显卡上的帧缓存，BIOS，PCI设备就可以使用读写内存一样的汇编指令完成，简化了程序设计的难度和接口的复杂性。I/O作为CPU和外设交流的一个渠道，主要分为两种，一种是Port I/O，一种是MMIO(Memory mapping I/O),MMIO就是通过外围设备映射到内存空间，便于CPU的访问。I/O作为 ...
阅读全文 »

发表于
字数统计: 7.3k字 | 阅读时长 ≈ 45分钟
==============================================================================irdma - Linux* RDMA Driver for the E800 Series and X722 Intel(R) Ethernet Controllers============================================================================== Content ...
阅读全文 »

发表于
字数统计: 169字 | 阅读时长 ≈ 1分钟
在使用nccl 2.8.4版本进行训练时，偶尔会出现训练任务卡主的问题，官方建议升级到nccl2.12版本，升级后确实训练任务能够正常运行了 升级nccl 流程： 123456789101112apt install build-essential fakeroot devscripts lintian debhelpergit clone -b v2.12 https://github.com/NVIDIA/nccl.gitcd ncclmake -j ...
阅读全文 »

发表于
字数统计: 816字 | 阅读时长 ≈ 4分钟
Kubernetes 集群中，在节点异常时(notready)controller-manager中的node_lifecycle_manager会为该节点增加污点，用于驱逐节点的Pod 123Taints: node.kubernetes.io/unreachable:NoExecute node.kubernetes.io/unreachable:NoSchedule 最近在测试过程中出现，节点notready后，运行在节点的Pod不会被删除，定位发现节点 ...
阅读全文 »

发表于
字数统计: 369字 | 阅读时长 ≈ 1分钟
kube-apiserver metrics 表头 表头 单元格 单元格 单元格 单元格 指标名 类型 含义 说明 apiserver_request_total counter 请求总数 sum_by使用 按状态码code分布 2xx 3xx 4xx 5xx 等,按动作verb分布 list get watch post delete等,按资源resource分布: pod node endpoint等 |apiserver_request_durati ...
阅读全文 »