机器学习第一次作业
机器学习第一次作业
1.试设计一个不同于高斯核和Epanechnikov核的核函数。
2.如果 $\mathrm{N}$ 个独立的观测样本 $x_{1}, x_{2}, x_{3}, \ldots, x_{N}$ 服从概率密度
$\mathrm{p}(\mathrm{x} \mid \hat{\theta})=\frac{1}{\sqrt{(2 \pi)^{\mathrm{p}} \mathrm{det}(\Sigma)}} \cdot \exp \left[-\frac{1}{2}(\mathrm{x}-\mu)^{\mathrm{T}} {\sum}^{-1}(\mathrm{x}-\mu)\right]$,
试估计$\theta=\{\mu, \sum \}$ 。
解:
1)
$\mathrm{K}(\mathrm{X})=\exp \left(-\frac{\left(\left\|\mathrm{X}-\mathrm{X}_{\mathrm{k}}\right\|\right)^{2}}{2 \sigma^{2}}\right)$
其中 $\sigma$ 定义学习样本间相似性的特征长度尺度。
2)
令:
$L(\theta)=\prod \limits_{i=1}^{N} P\left(x_{i} \mid \theta\right)=\left(\frac{1}{\sqrt{(2 \pi)^{p} \operatorname{det}(\Sigma)}}\right)^{N} \exp \left[-\frac{1}{2} \sum \limits _{i=1}^{N}\left(x_{i}-\hat{\mu}\right)^{\top} \Sigma^{-1}\left(x_{i}-\hat{\mu}\right)\right]$
则:
$\operatorname{ln} L(\theta)=-\frac{P N}{2} \ln 2 \pi-\frac{N}{2} \ln \operatorname{det}(\hat{\Sigma})-\frac{1}{2} \sum\limits _{i=1}^{N}\left(x_{i}-\hat{\mu}\right)^{\top} \Sigma^{-1}\left(x_{i}-\hat{\mu}\right)$
由 $\frac{\partial \operatorname{ln} L(\theta)}{\partial \hat{\mu}}=0$ 得:
$\sum \limits _{i=1}^{N} \Sigma^{-1}\left(x_{i}-\hat{\mu}\right)=0$
由 $\frac{\partial \operatorname{ln} L(\theta)}{\partial \hat{\Sigma}}=0$ 得:
$\sum \limits _{i=1}^{N}\left(x_{i}-\hat{\mu}\right)\left(x_{i}-\hat{\mu}\right)^{T} \Sigma^{-2}-\frac{1}{2} \sum \limits_{i=1}^{N} \Sigma^{-1}=0$
解得:
$\left\{\begin{array}{l}\hat{\mu }=\frac{1}{N} \sum \limits _{i=1}^{N} x_{i} \\\hat{\Sigma}=\frac{1}{N} \sum \limits_{i=1}^{N}\left(x_{i}-\hat{\mu}\right)\left(x_{i}-\mu\right)^{\top}\end{array}\right.$
相关文章
- 【eureka问题:已解决】Request execution failed with message: java.net.ConnectException: Connection refused:
- 【已解决】Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon runnin
- 【已解决】springboot在使用redisTemplate的测试的时候报空指针
- 差两个像素让我很难受,这问题绝不允许留到明年!
- React DevUI 18.0 正式发布🎉
- 好慌,我代码没了!不会是变基变出问题了吧?
- 老板:你为什么要选择 Vue?
- 实用的 Bash 快捷键
- Quill基本使用和配置 - DevUI
- Quill富文本编辑器的实践 - DevUI
- 如何解决异步接口请求快慢不均导致的数据错误问题? - DevUI
- 让我们一起建设 Vue DevUI 项目吧!🥳
- 号外号外!DevUI Admin V1.0 发布啦!
- 手把手教你搭建自己的Angular组件库 - DevUI
- 2021 年最值得推荐的 7 个 Angular 前端组件库 - DevUI
- 立完flag,你可能需要对flag进行量化
- html2canvas实现浏览器截图的原理(包含源码分析的通用方法)
- 在瀑布下用火焰烤饼:三步法助你快速定位网站性能问题(超详细)
- 大厂是如何用DevCloud流水线实现自动化部署Web应用的?
- 手把手教你使用Rollup打包并发布自己的工具库