目录

术语概念

前言

一个形象公式:

Min(Eval(H(θ,x),y))

这个公式的含义:

我们通过答题进而学习知识的过程。y是题目x的答案,θ是知识,H函数就答题过程,Eval则是根据答案y和答题H进行打分,也就是评估,Min就是我们的学习效果,答题与答案越接近,意味着我们学习的效果越好。

如何学习

  • 机器如何学习

    • 假设空间:比如线性关系
    • 优化目标:比如均方误差
    • 寻解算法:比如解微分方程
  • 假设空间

    • 线性回归:牛顿第二定律(实数集)
    • 感知机:线性回归,阶跃函数(0||1),分类场景
    • 逻辑回归:概率场景(0~1的值)
  • 为什么这么多假设

    一个假设吃天下,不行么?

    假设实际上就是对目标规律的认知,由于对目标规律的认知不同,所以不同的应用场景存在不同的目标规律,需要不同的假设空间。(@马哲,一切从实际出发,实事求是)

    以实用为目标,从需求出发构建假设

  • 科学是什么

    科学是一种认识世界的信仰

    (@马哲,科学是什么,哲学是什么)

更多的优化目标

  • 线性回归

    牛顿第二定律案例

    完全拟合已知数据是理想假设,所以优化目标为拟合误差的某种衡量指标,成为Loss

    loss显然又是关于参数w的函数关系

    • 均方误差

      均方误差更柔和,更容易更快速的感知到最低点。绝对误差是直接找到,但不容易感知到最低点,且不柔和。

    • 优化解决过程

      合理性:绝对误差

      易解性:均方误差

  • 感知机

    • 二分类模型:True|False :: Positive||Negative

    • 0/1误差

      0/1误差,也就是就错误样本点的个数:Min(FP+FN),其实就是一种离散的数据,很不好解

  • 逻辑回归

    • 最大似然

      如果一个规律,最大可能产生该观测结果,这个规律最可能是真的。比如认识人的第一天,发现他做了三件坏事,则我们更倾向于他可能是个坏人。

    • 似然误差

      预测输出(概率值)与真实分类(0||1)不是在同一个维度上,不能直接套用均方误差

      最大似然、概率函数、似然误差:https://zhuanlan.zhihu.com/p/26614750

    • 概率函数

      p(h|d)

    • 优化解决过程

      合理性推导:贝叶斯原理

      易解性推导:+Log 求最小

    当你排除一切不可能的情况,剩下的,不管多难以置信,都是事实。– 福尔摩斯(@马哲,实事求是)

  • 一个启示性的故事,更改人的目标

    一位老人在乡村养病,但附近的小孩很喜欢在老人家附近玩耍,于是老人把孩子们都聚在一起,说谁的声音最大就有奖赏,并根据他们的吵闹程度给予不同的奖励,在孩子们都习惯有奖励的时候,慢慢的老人就不再给奖励,孩子们就想,你不给我钱,我为什么给你吵,之后就没有在老人家吵了.

    孩子们原本吵闹是为了玩耍为了快乐,后来被老人变相更改了吵闹玩耍的目的,让表面现象给迷惑了,丢失了吵闹的本质

    合理的优化目标,根据当下实际情况实现,才更有意义

更多寻解算法

  • 线性代数

    大学里的线性代数,很需要改革,砍掉其中一半,保留基本的那一半,再结合实际应用场景,深入思考线性代数的思想(原理)与用途(方法论)。毕竟大部分人学过线性代数,在之后的人生中可能基本都不会再使用到,在这里就想到了,美国及西方部分教育,注重基础及实践结合,是很有道理的,他们并不是一味着为了学习而学习,为了竞赛而学习。工具科目容易快速上手学习、思想科目学个基础及思想入门,待研究生去深入研究。

    说到这里,预测10年后,中国教育需要改革成:小学缩短最多4~5年,初中与高中合并成中学,3~4年,大学2~3年,研究生2年,比起原来从7岁开始6+3+3+4+2,学到研究生时至少25岁,改革后可以从7岁开始5+4+3+2,学到研究生时21岁。21世纪的孩子都比较成熟,也容易早早进入社会,同样早早推动家庭的走向。人类年轻化是必然的,人类老年化也是必然的。

    时代是发展的,20年前适合的规则,在20年后不一定适合,需要与时俱进,物质的变化的累积,导致质变,质变促进社会行业的变革。

  • 近朱者赤近墨者黑

    x相近时,y就会相近,这种情况的才适合机器学习

    蝴蝶效应、股票系统、彩票系统不适合机器学习(混沌系统)

  • 梯度下降

    随机取一个参数w,计算导函数,得到当前梯度(斜率),继续往下降的方向走一小步,逐步一直走

    • 可行性:凸函数,全局唯一最低点
    • 关键要素:方向、步长
    • 步长
      • 太短:优化太慢
      • 太长:可能错过最低点
      • 具体应用场景的适合步长,在具体应用场景中测试得到适合步长
      • 步长灵活,根据梯度灵活调整,一开始长,慢慢的越来越精细
  • 感知机:PLA

    感知机是离散的,不是连续的函数,不好计算。

    将离散的错误样本到分类界面的距离量化成连续的函数。

  • 逻辑回归:梯度下降优化

    随机梯度

    参考PLA,每轮迭代只考虑部分样本,去计算当前的梯度,得到的每次梯度方向可能都会不一样,但整体最终的大方向是往低点的方向,速度快,但快接近最低点时,会来回徘徊(毕老师给了个很形象的比喻:奔跑的醉汉)

  • 寻解算法

    是三要素中更偏数学设计,离应用相对更远的要素

小结

  • 线性回归

    • 回归假设
    • 均方误差
    • 公式解

    现实中,存在较多常见的类线性关系

  • 感知机

    • 分类假设
    • 0/1误差
    • 迭代优化
  • 逻辑回归

    • 概率假设
    • 似然误差
    • 梯度下降

毕老师,更多的是分享机器学习的认知、思想,而不是分享具体的模型算法知识,这些认知和思想更像是大楼的基石和架构,只有基石和架构牢固,大楼的建造更快速更稳。


视频:https://aistudio.baidu.com/aistudio/education/lessonvideo/280029