【机器学习】逻辑回归LR的推导及特性是什么,面试回答?
1、LR 的推导,特性?
Logistic Regression 虽然被称为回归,但其实际上是分类模型,并常用于二分类。Logistic Regression 简单、可并行化、可解释强。Logistic 回归的本质是:假设数据服从这个分布,然后使用极大似然估计做参数的估计。
即线性回归的公式是
z
=
w
×
x
+
b
z = w×x+b
z=w×x+b,Sigmoid函数的公式
y
=
1
1
+
e
−
z
y =\frac{1}{1+e^{-z}}
y=1+e−z1,则逻辑回归的公式就是,将是将线性回归的z输入到Sigmoid函数中,得到逻辑回归的输出即
y
^
=
1
1
+
e
−
w
×
x
+
b
\hat{y} = \frac{1}{1+e^{-w×x+b}}
y^=1+e−w×x+b1
LR的损失函数是对数损失函数(Log loss),逻辑回归假设样本服从伯努利分布(0-1分布),然后求得满足该分布的似然函数,接着取对数求极值,最小化负的似然函数(即
m
a
x
F
(
y
,
f
(
x
)
)
—
m
i
n
−
[
F
(
y
,
f
(
x
)
)
]
max F(y, f(x)) —min -[F(y, f(x))]
maxF(y,f(x))—min−[F(y,f(x))],则LR的损失函数为负的对数损失函数:
J
(
θ
)
=
−
1
m
×
∑
i
=
1
m
(
y
i
×
l
o
g
y
^
+
(
1
−
y
i
)
×
l
o
g
(
1
−
y
^
)
J(\theta) = -\frac{1}{m} ×\sum_{i=1}^{m}(y_i×log \hat{y} +(1-y_i)×log(1-\hat{y})
J(θ)=−m1×i=1∑m(yi×logy^+(1−yi)×log(1−y^)
2、决策树的特性?
-
不要求任何先验假设,不假定类和其他属性服从一定的概率分布。
-
效率高,决策树只需要一次构建,反复使用,每一次预测的最大计算次数不超过决策树的深度。
-
决策树相对容易解释,特别是小型的决策树
-
对缺失值不敏感
-
冗余属性不会对决策树的准确率造成不利的影响。一个属性如果在数据中它与另一个属性是强相关的,那么它是冗余的。在两个冗余的属性中,如果已经选择其中一个作为用于划分的属性,则另一个将被忽略。假设两个属性完全一样,那么当其中一个被选中作为划分属性时,那么划分过后的子女结点中包含的另一个属性应该是完全一样的。这时如果你想对子女结点用第二个属性划分时,将只有一个属性值。非上述极端情况下,增益也会很小,这样就不会被选中作为划分属性。
相关文章
- 机器学习之有监督学习,无监督学习,半监督学习
- 机器学习算法(一):逻辑回归模型(Logistic Regression, LR)[通俗易懂]
- 机器学习基础:缺失值的处理技巧(附Python代码)
- 297个机器学习彩图知识点(11)
- 机器学习经典算法:决策树(2)
- 图机器学习无处不在! 用 Transformer 可缓解 GNN 限制
- 数据挖掘机器学习[二]---汽车交易价格预测详细版本{EDA-数据探索性分析}
- JCIM|MILCDock:用于药物发现中虚拟筛选的机器学习一致性对接
- 《机器学习十大经典算法》报告邀请
- 博士申请|上海交通大学叶南阳助理教授招收计算机视觉/机器学习方向博士生
- 机器学习算法(一): 基于逻辑回归的分类预测
- 努力不见效?零基础带你入门机器学习(每周免费更新)
- 使用 TensorFlow 构建机器学习项目:6~10
- 机器学习主要流派有哪些?
- 如何修改 Linux 机器名?(linux机器名修改)
- AI=机器学习²,我们在去往²的路上 | 普林斯顿范剑青教授
- 怎么才能限制SQLServer只能让指定的机器连接