面向深度学习的互适应调度 · OSDI '21

工程实践 论文精读 源码分析
本文分析了一篇发表在 OSDI '21 上的论文。面对深度学习任务,该论文提出调度器 Pollux,通过观察每个作业的训练状态和集群的资源利用情况, 实时地作出如下决策:(1)调整每个作业的批处理数据大小和学习率;(2)重新分配集群资源(如 GPU)。和现有的深度学习调度器相比,Pollux 可以将任务训练时间减少 37-50%。

所谓调度,需要回答的核心问题是:在何时将何种任务分配给何种资源以何种方式执行。 调度广泛存在于操作...


从 Service 到 Ingress · K8S 实践 01

工程实践
本文循序渐进地给出了在集群内外(i)不通过 Service、(ii)通过 Service、(iii)通过 Ingress 访问集群内 Pod 的实践。

在 Kubernetes 中,Service 是一组 Pod 的逻辑集合和访问方式的抽象。 对于一...


附录与补遗 · K8S 实践 03

工程实践
在前面两篇文章中,我重点实践了 Kubernetes 中有关服务和存储的内容,本文将对 Kubernetes 中的其他知识点做一个回顾和补充。

本文首先回顾了 Kubernetes 架构与工作流程,然后复习了资源对象和资源清单文件相关的内容,...


优化理论基础(下) · 最优化 04

数学优化
本文重点介绍了常用的保凸运算。借助保凸运算,我们可以轻易地判定一个函数是否为凸函数,这直接决定了一个问题是否是“容易求解的”。

上篇重点介绍了凸函数的定义以及一些凸函数的判定方法。实际上,凸函数还可以从凸函数的 “保凸运算” ...


切诺夫界 · 概率论、数理统计与信息论 02

数学优化
本文将回答概率论中的一个重要问题:对于给定的随机变量,和期望值相差给定距离的取值发生的概率是多少?对此,我们有三个结论,分别是马尔可夫不等式、切比雪夫不等式和切诺夫界。随着对随机变量的独立性的要求提高,这三个结论对于这个概率的估计也愈加准确。

对于给定的随机变量,和期望值相差给定距离的取值发生的概率是多少?为了回答这个问题,本文将依次介绍马...


理解并使用存储卷 · K8S 实践 02

工程实践
本文依次介绍了 K8S 中的简单存储(EmptyDir、HostPath、NFS)、高级存储(PV、PVC)以及配置存储(ConfigMap、Secret)的基本原理和使用。

在 Kubernetes 中,容器会被频繁地创建和销毁。当容器被销毁时,保存在容器中的数据也会被清...


KubeSphere 初探 · KS 实践 01

工程实践
本文 “走马观花” 式地介绍了 KubeSphere 的安装与使用,并尝试引导读者思考应当如何正确部署一个应用。

KubeSphere 是一个以 Kubernetes 为内核的云原生分布式操作系统,它的架构可以非...


基本概念 · 概率论、数理统计与信息论 01

数学优化
自本文开始,笔者将列举概率论、数学分析与线性代数等数学课程中的重要知识点。这些知识点作为理论基础,对它们的熟练掌握是开展算法方向研究的重要前提。

放寒假了。笔者有一个长期保留的习惯,即在寒暑假全面回顾 / 重读一些基础的知识点(包含数学、计算机...


理解共轭梯度法 · 上

数学优化 论文精读
在本文中,我们将深入分析共轭梯度法。共轭梯度法是在最速下降法基础上的一类重要延伸。本篇文章作为上半部分,将从算法步骤和收敛性分析的角度重点介绍最速下降法。

求解无约束非线性优化问题的算法有很多种。最常用的无约束非线性优化算法是一维搜索,其核心是找到


熵 · 概率论、数理统计与信息论 04

数学优化
本文介绍了熵、联合熵、条件熵、互信息、交叉熵与 KL 散度等概念。

本文将依次介绍熵、联合熵、条件熵、互信息、交叉熵与 KL 散度等信息论中的概念。接下来的内容将针对...


优化理论基础(中) · 最优化 03

数学优化
接上篇,本文首先介绍凸优化中的常用概念,包括直线、仿射集、凸集、凸组合、凸函数等,然后重点分析了各种保凸规则和凸性判定规则。

本文将介绍凸优化领域内最重要的数个概念,尤其是凸集和凸函数。我们关心集合和函数的 “凸性” 是因为...



Designed & written by Hailiang Zhao.
hliangzhao.cn. Copyright © 2021 - 2022 | 浙ICP备2021026965号-1
Manage