面向深度学习的互适应调度 · OSDI '21

Created by Hailiang Zhao, 2021年9月28日     2989 reads    Last modified: 2022年8月21日

工程实践 论文精读 数学优化
本文分析了一篇发表在 OSDI '21 上的论文。面对深度学习任务，该论文提出调度器 Pollux，通过观察每个作业的训练状态和集群的资源利用情况， 实时地作出如下决策：（1）调整每个作业的批处理数据大小和学习率；（2）重新分配集群资源（如 GPU）。和现有的深度学习调度器相比，Pollux 可以将任务训练时间减少 37-50%。

所谓调度，需要回答的核心问题是：在何时将何种任务分配给何种资源以何种方式执行。 调度广泛存在于操作...

Read more
7 Comments

切诺夫界 · 概率论、数理统计与信息论 02

Created by Hailiang Zhao, 2022年1月13日     2134 reads    Last modified: 2022年1月13日

数学优化
本文将回答概率论中的一个重要问题：对于给定的随机变量，和期望值相差给定距离的取值发生的概率是多少？对此，我们有三个结论，分别是马尔可夫不等式、切比雪夫不等式和切诺夫界。随着对随机变量的独立性的要求提高，这三个结论对于这个概率的估计也愈加准确。

对于给定的随机变量，和期望值相差给定距离的取值发生的概率是多少？为了回答这个问题，本文将依次介绍马...

Read more
0 Comments

理解共轭梯度法 · 上

Created by Hailiang Zhao, 2021年8月24日     1758 reads    Last modified: 2023年1月6日

数学优化 论文精读
在本文中，我们将深入分析共轭梯度法。共轭梯度法是在最速下降法基础上的一类重要延伸。本篇文章作为上半部分，将从算法步骤和收敛性分析的角度重点介绍最速下降法。

求解无约束非线性优化问题的算法有很多种。最常用的无约束非线性优化算法是一维搜索，其核心是找到

Read more
1 Comments

局部最优性与 KKT 条件 · 微积分 02

Created by Hailiang Zhao, 2022年1月16日     1648 reads    Last modified: 2022年1月28日

数学优化
本文介绍了局部最优性的必要条件以及两个最常用的约束优化算法：拉格朗日乘子法与KKT条件。

在这篇文章中，我将首先介绍局部最优性的一阶和二阶必要条件，然后给出两个最常用的约束优化算法——拉格...

Read more
0 Comments

从 Service 到 Ingress · K8S 实践 01

Created by Hailiang Zhao, 2021年10月15日     1598 reads    Last modified: 2022年1月7日

工程实践
本文循序渐进地给出了在集群内外（i）不通过 Service、（ii）通过 Service、（iii）通过 Ingress 访问集群内 Pod 的实践。

在 Kubernetes 中，Service 是一组 Pod 的逻辑集合和访问方式的抽象。 对于一...

Read more
0 Comments

基本概念 · 概率论、数理统计与信息论 01

Created by Hailiang Zhao, 2022年1月12日     1504 reads    Last modified: 2022年1月24日

数学优化
自本文开始，笔者将列举概率论、数学分析与线性代数等数学课程中的重要知识点。这些知识点作为理论基础，对它们的熟练掌握是开展算法方向研究的重要前提。

放寒假了。笔者有一个长期保留的习惯，即在寒暑假全面回顾 / 重读一些基础的知识点（包含数学、计算机...

Read more
0 Comments

优化理论基础（下） · 最优化 04

Created by Hailiang Zhao, 2021年8月26日     1499 reads    Last modified: 2022年1月7日

数学优化
本文重点介绍了常用的保凸运算。借助保凸运算，我们可以轻易地判定一个函数是否为凸函数，这直接决定了一个问题是否是“容易求解的”。

上篇重点介绍了凸函数的定义以及一些凸函数的判定方法。实际上，凸函数还可以从凸函数的 “保凸运算” ...

Read more
0 Comments

附录与补遗 · K8S 实践 03

Created by Hailiang Zhao, 2021年11月9日     1466 reads    Last modified: 2022年5月9日

工程实践
在前面两篇文章中，我重点实践了 Kubernetes 中有关服务和存储的内容，本文将对 Kubernetes 中的其他知识点做一个回顾和补充。

本文首先回顾了 Kubernetes 架构与工作流程，然后复习了资源对象和资源清单文件相关的内容，...

Read more
0 Comments

熵 · 概率论、数理统计与信息论 04

Created by Hailiang Zhao, 2022年1月14日     1465 reads    Last modified: 2022年1月15日

数学优化
本文介绍了熵、联合熵、条件熵、互信息、交叉熵与 KL 散度等概念。

本文将依次介绍熵、联合熵、条件熵、互信息、交叉熵与 KL 散度等信息论中的概念。接下来的内容将针对...

Read more
0 Comments

相似矩阵与特征值分解 · 线性代数 02

Created by Hailiang Zhao, 2022年1月25日     1454 reads    Last modified: 2022年1月28日

数学优化
本文将首先介绍如何理解向量的点积、叉乘，然后给出了正确理解相似矩阵和特征值分解的方法。

向量之间的运算不仅有相加和数乘，还有点积和叉乘。本文将首先介绍这两种运算的几何直观。随后，本文将深...

Read more
0 Comments

理解并使用存储卷 · K8S 实践 02

Created by Hailiang Zhao, 2021年11月9日     1371 reads    Last modified: 2023年4月25日

工程实践
本文依次介绍了 K8S 中的简单存储（EmptyDir、HostPath、NFS）、高级存储（PV、PVC）以及配置存储（ConfigMap、Secret）的基本原理和使用。

在 Kubernetes 中，容器会被频繁地创建和销毁。当容器被销毁时，保存在容器中的数据也会被清...

Read more
0 Comments

Designed & written by Hailiang Zhao.
hliangzhao.cn. Copyright © 2021 - 2023 | 浙ICP备2021026965号-1
Manage