title: python编程规范date: 2024-03-27 08:44:11tags: PEP 8 – Python 代码风格指南1、引言本文档给出了 Python 编码规约，主要 Python 发行版中的标准库即遵守该规约。对于 C 代码风格的 Python 程序，请参阅配套的 C 代码风格指南。 本文档和 PEP 257（文档字符串规约）是根据 Guido 的 Python 风格指南一文改编的，其中还增加了 Barry 提出的一些风格指南。 风格指南并非一成不变，它本 ...

1、在双网卡节点（需要设置外网网卡为默认网卡） 进行以下配置首先linux默认是关闭ip包转发的功能，需要开启一下 12cat /etc/sysctl.confnet.ipv4.ip_forward=1 执行命令使该配置立即生效： 1sysctl -p 2、在双网卡节点开启转发功能，将非本机地址的ip包修改源地址后从连网的网口发出去，其中eth0为可以访问外网的端口 1sudo iptables -t nat -A POSTROUTING -o eth0 -j ...

LORA(低秩自适应)LoRA 允许我们通过优化适应过程中密集层变化的秩分解矩阵，来间接训练神经网络中的一些密集层，同时保持预先训练的权重不变。LoRA 的思想很简单: 在原始 PLM (Pre-trained Language Model) 旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的intrinsic rank。训练的时候固定 PLM 的参数，只训练降维矩阵A 与升维矩阵B 。而模型的输入输出维度不变，输出时将BA与 PLM 的参数叠加。矩阵A用随机高斯分布初始化 ，矩阵B用 0 ...

keepalived本质作用 Keepalived的体系结构从整体上分为两层，分别是用户空间层（User Space）和内核空间层（Kernel Space） 内核空间层： 处于最底层，它包括IPVS和NETLINK两个模块。 IPVS模块是Keepalived引入的一个第三方模块，通过IPVS可以实现基于IP的负载均衡集群， 在Keepalived中，IPVS模块是可配置的，如果需要负载均衡功能，可以在编译Keepalived时打开负载均衡功能，反正，也可以通过配置编译参数关闭。Keep ...

Systemd 依赖 cgroups要理解 systemd 与 cgroups 的关系，我们需要先区分 cgroups 的两个方面：层级结构(A)和资源控制(B)。首先 cgroups 是以层级结构组织并标识进程的一种方式，同时它也是在该层级结构上执行资源限制的一种方式。我们简单的把 cgroups 的层级结构称为 A，把 cgrpups 的资源控制能力称为 B。对于 systemd 来说，A 是必须的，如果没有 A，systemd 将不能很好的工作。而 B 则是可选的，如果你不需要对资源进行控 ...

title: Sysdig 项目date: 2021-01-26 19:17:46tags: Linux sysdig相当于strace + tcpdump + lsof + htop + iftop 以及其他工具的合集 ，除此之外其还能对容器如docker、coreOS、LXC进行监控，收集了一些用法，具体可以参考这里 工作原理sysdig 通过在内核的 driver 模块注册系统调用的 hook，这样当有系统调用发生和完成的时候，它会把系统调用信息拷贝到特定的 buffer，然后用户模块 ...

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick StartCreate a new post1$ hexo new "My New Post" ...

数据并行（DP ）1、概念：相同的模型分布在不同的GPU上，在不同的GPU上使用不同的数据。每一张GPU上有相同的参数，在训练的时候每一个GPU训练不同的数据，相当于增大了训练时候的batch_size。数据并行基于一个假设：所有节点都可以放下整个模型。这个假设在某些模型上（如GPT3）是不合理的，因此我们还需要模型并行。 2、并行方式：2.1 同步训练：每个前向、反向结束后显示同步（把每一个GPU上的梯度进行汇总，再在GPU上进行相同的参数更新。） 实现简单，适合同构场景；一个节点出现故 ...

1. AI算力发展趋势1.1 人工智能理论：深度学习人工智能发展至今并非一帆风顺， 从起步阶段到现今的深度学习阶段，数据、算法和算力构成了人工智能三大基本要素，共同推动人工智能向更高层次的感知、认知发展。 1.2 第三次人工智能浪潮代表人物如前所述，当前人工智能繁荣离不开数据、算法和算力的共同发展，在算法层面，深度学习三巨头Geoffrey Hinton、Yann LeCun和Yoshua Bengio对AI领域的贡献无人不知、无人不晓，他们围绕神经网络重塑了AI； 数据层面，2007年李飞飞 ...