0. 从已经理解的内容出发

我们用一条直线预测 y：

$$ \hat y=\theta_0+\theta_1x $$

真实值和预测值之间的误差是：

$$ \epsilon=y-\hat y $$

我们希望选择一组参数，使所有样本的误差尽可能小。于是有一个问题：

应该用什么方式衡量误差的大小？

吴恩达在线性回归中选择了平方误差：

$$ J(\theta)=\frac{1}{2m}\sum_{i=1}^{m} \left(y^{(i)}-\hat y^{(i)}\right)^2 $$

下面解释为什么是平方，而不是一次方或四次方。

1. 为什么不能直接把误差相加

假设有两个样本，误差分别是：

$$ \epsilon_1=2,\qquad \epsilon_2=-2 $$

如果直接相加：

$$ \epsilon_1+\epsilon_2=2+(-2)=0 $$

但实际上两个样本都预测错了，所以结果为零不能表示“没有误差”。

原因是误差有正负：

• 正误差：预测值偏小；
• 负误差：预测值偏大。

所以正负误差会互相抵消。

2. 一次方、绝对值和平方的区别

带符号的一次方

如果使用：

$$ \sum_{i=1}^{m}\epsilon_i $$

就会发生正负抵消，因此不适合作为总误差。

绝对值的一次方

如果使用：

$$ \sum_{i=1}^{m}|\epsilon_i| $$

就不会发生正负抵消。这其实是合理的损失函数，叫绝对误差损失。

它的缺点是：在 ε=0 处有一个尖角，导数不连续；同时它对大误差的惩罚没有平方误差那么强。

平方误差

平方误差是：

$$ \sum_{i=1}^{m}\epsilon_i^2 $$

它有三个优点：

1. 正误差和负误差都会变成正数；
2. 大误差会被更强烈地惩罚；
3. 函数连续且可导，方便使用梯度下降。

例如：

$$ 2^2=4,\qquad 5^2=25 $$

误差从 2 增加到 5，平方损失增加得非常明显。

3. 高斯分布是怎么出现的

吴恩达不是随意规定“误差要平方”，而是做了一个关于误差的假设：

大多数误差应该接近零，较大的误差比较少见，并且正误差和负误差大致对称。

这种误差形状可以用均值为 0 的高斯分布表示：

$$ \epsilon\sim\mathcal{N}(0,\sigma^2) $$

它的概率密度函数是：

$$ p(\epsilon) =\frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{\epsilon^2}{2\sigma^2}\right) $$

先只看最重要的部分：

$$ p(\epsilon)\propto\exp\left(-\frac{\epsilon^2}{2\sigma^2}\right) $$

因为指数上面出现了 -ε²，所以误差越大，出现的概率密度越小。

4. 从高斯误差推出平方误差

对于一个样本：

$$ \epsilon^{(i)}=y^{(i)}-\theta^Tx^{(i)} $$

高斯假设意味着：

$$ p\left(y^{(i)}\mid x^{(i)};\theta\right) =\frac{1}{\sqrt{2\pi}\sigma} \exp\left( -\frac{\left(y^{(i)}-\theta^Tx^{(i)}\right)^2}{2\sigma^2} \right) $$

这个式子表示：给定输入 x 和参数 θ 后，真实输出 y 在预测值附近出现的可能性。

如果模型的预测很好，那么误差较小，概率密度较大；如果预测很差，那么误差较大，概率密度较小。

假设不同样本之间相互独立，那么所有样本同时出现的可能性等于各个样本概率密度的乘积：

$$ \mathcal{L}(\theta) =\prod_{i=1}^{m} p\left(y^{(i)}\mid x^{(i)};\theta\right) $$

这个 𝓛(θ) 叫似然函数。我们希望找到一组参数，使观察到的训练数据最可能出现，因此希望最大化似然函数。

直接最大化很多乘法不方便，所以取对数：

$$ \log\mathcal{L}(\theta) =\sum_{i=1}^{m} \log p\left(y^{(i)}\mid x^{(i)};\theta\right) $$

代入高斯密度后：

$$ \log\mathcal{L}(\theta) =-m\log(\sqrt{2\pi}\sigma) -\frac{1}{2\sigma^2} \sum_{i=1}^{m} \left(y^{(i)}-\theta^Tx^{(i)}\right)^2 $$

其中第一项与 θ 无关，只有第二项会随着模型参数变化。

因此，最大化对数似然等价于最小化：

$$ \sum_{i=1}^{m} \left(y^{(i)}-\theta^Tx^{(i)}\right)^2 $$

这就是最小二乘法。

所以核心逻辑是：

$$ \text{高斯误差假设} \Longrightarrow \text{最大似然估计} \Longrightarrow \text{最小化平方误差} $$

换句话说，这个逻辑是：最大化预测结果，也就是让真实结果出现在预测值附近的可能性最大化。这里“可能性”的量化标准是概率密度；概率密度越大，说明在相同的小区间内观察到真实值越合理。

1.1 git与 git commit

git仓库的提交记录保存的是你的目录下所有文件的快照。就像复制了整个目录，再黏贴。 有几个特点

• git希望提交记录轻量，因此每次提交后，他只会打包所有更新的部分作为一个提交记录。
• git会保存每一次历史记录。因此可以维护提交历史，对大家都有好处。 使用git commit即可提交。

1.2 git branch

当你搭建炒股bot的时候，你可能会尝试100种策略，但最终你只会使用最赚钱的那个。因此你得回到历史某一个提交节点上。

Git 的分支也非常轻量。它们只是简单地指向某个提交记录. git branch {随便起个名字。比如说 richbot} 这样就创建好了一个指向当前状态的节点了！

为了回到我们想要的节点，我们需要使用 git checkout (你取的那个名字）

1.3 git merge

我一个trading bot出问题了！我要修复这个bug，但是我的同事正在进一步开发bot，因此我需要在分支上写一个bugfix，再回到main，让主线也包含这个修复bug的插件。

git checkout main
git pull origin main
git merge bugFix ###这个是在main主线上把bugfix的内容merge进去。
git push origin main

1.4 rebase

merge虽然好，但是我们有时候想要线性的维护记录，我们希望在主线上这就是一个修复bug的更新，而不是什么莫名其妙的branch，这个时候就可以用rebase。

git branch bugFix | git checkout bugFix
git commit
git rebase main
git checkout main
git rebase bugFix

2.0: HEAD

当然，给每一个节点一个branch，可以随时回归，很不错，但是这个设计哲学也太烂了吧！ 所以说，我们得掌握在提交树上移动的办法。

HEAD 是一个对当前所在分支的符号引用 —— 也就是指向你正在其基础上进行工作的提交记录。

HEAD 总是指向当前分支上最近一次提交记录。大多数修改提交树的 Git 命令都是从改变 HEAD 的指向开始的。

HEAD 通常情况下是指向分支名的（如 bugFix）。在你提交时，改变了 bugFix 的状态，这一变化通过 HEAD 变得可见。

好在哪怕你不给每一个节点起名，节点自己也有一个40位的哈希值fed2da64c0efc5293610bdd892f82a58e8cbc5d8像这样，你只要输入git checkout fed2然后tab自动补全就好啦！

其实不好。 这tm谁记得住哈希值 还好我们有相对引用 使用git checkout HEAD^即可回到上一条。 ^表示上一条。系统的讲，你可以选中一个已有的好记的节点，然后移动到附近。 一条一条返回也有点慢，不如用~批量返回。 还可以用git branch -f (branch名) （位置）来改变分支的指向。

2.1 撤回！

不是Ctrl Z 两套方法。

1. 用git reset,直接在本地取消一次提交，回到上一个节点。不过在远端没人知道。
2. 用git revert，同样是取消，但是是以新的节点的形式，我的母节点的母节点是我这样方便提交到远端。

碎碎念

我真正意识到需要版本控制的经历来自于玩polymarket。 我从github上clone了一个跟单bot，调好了api，用自己电脑跑了一个晚上赚了7美刀。 我爽飞了。开始设置止盈止损，这个时候还能赚一点钱。 然后我开始排列组合各种alpha因子，反弹率，订单簿。抢尾盘。 然后我跑了一个晚上亏了50美元。 这个悲剧告诉了我两个道理：

• 别用自己电脑跑bot，用服务器
• 放心修改bot的前提是，你得再爆亏之后，随时回到赚钱版本的老bot That’s why we need version control.

Github指北

鉴于我会的也不多，我只教最最简单的操作。

如你所见，我有一个账号，上面有很多东西。以CS61A为例，我给你示范一下如何下载。

我们发现这个项目的网址，于是在linux的命令行中输入

git clone https://github.com/Neutralmilkzzz/CS61A-2025-Fall

我就把他克隆了下来。

2 修改

touch change.py之后，我成功地做到了在原文件夹捏造了一个python文件。 你也可以干别的坏事。

3 同步更新

git pull --rebase origin main 其实pull就行了，–rebase是处理冲突的

4 上传新文件

git add sth 一般来说我们也不在意上传哪部分，一股脑全扔上去得了，那么就用 git add .就行

5 提交说明

解释一下你为啥要更新 git commit -m "upload IntList.java"

6 认证身份

臭名昭著大名鼎鼎的cc好课CCST9017教会了我们RSA，也告诉了我们：一对私钥与公钥可以用于鉴别身份，因为只有私钥的拥有者能生成一个数字签名（Digital Signature）。任何拥有公钥的人，都无法通过公钥推算出私钥，但可以使用公钥来验证该数字签名是否确实由匹配的私钥所创建。因此，公钥的使用者可以确认签名者（即私钥拥有者）的身份是真实的。 github为了保证绝对安全，在2021年之后不再能用账号密码登录，而是转为ssh key 首先你需要在本地生成一对ed25519的密钥，把公钥上传到github/settings/ssh key，加入一个新的key。 这串代码我忘了，keygen什么的，问问ai，他肯定知道。 然后登录 ssh -T git@github.com 收到这个 Hi XXXXXX! You've successfully authenticated, but GitHub does not provide shell access. 就说明你成功了

7 设置远程仓库为ssh模式

git remote set-url origin git@github.com:Neutralmilkzzz/XXXXXXXXX.git

8 推送

git push origin main

这就是github基本操作了。下次我们仔细讲讲git