jensen不等式（jensen不等式积分形式）

大家好，今天本篇文章就来给大家分享jensen不等式，以及jensen不等式积分形式对应的知识和见解，内容偏长哪个，大家要耐心看完哦，希望对各位有所帮助，不要忘了收藏本站喔。

1EM算法系列(二)-Jenson不等式

EM算法的推导过程中用到的一个很重要的不等式就是琴生不等式（Jenson inequality），相信大家在高等数学的课程中都学习过这个不等式，这里只简单回顾一下这个不等式的性质：

设f是定义域为实数的函数，如果对于所有的实数x。如果对于所有的实数x，f(x)的二次导数大于等于0，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的，那么f是凸函数。如果只大于0，不等于0，那么称f是严格凸函数。

Jensen不等式表述如下：

如果f是凸函数，X是随机变量，那么：E[f(X)]=f(E[X])

特别地，如果f是严格凸函数，当且仅当X是常量时，上式取等号。

如果用图表示会很清晰：

图中，实线f是凸函数，X是随机变量，有0.5的概率是a，有0.5的概率是b。（就像掷硬币一样）。X的期望值就是a和b的中值了，图中可以看到E[f(X)]=f(E[X])成立。

当f是（严格）凹函数当且仅当-f是（严格）凸函数。

Jensen不等式应用于凹函数时，不等号方向反向。

2什么是jensen不等式？

（Jensen）不等式 如果f(x)在(a,b)上是凸函数，x1，x2都在(a,b)上，证明不等式：f[(x1+x2)/2]≥1/2[f(x1)+f(x2)]成立.

证明：证明f[(x1+x2)/2]≥1/2[f(x1)+f(x2)]成立可以转化为证明f[(x1+x2)/2]-f(x1)≥f(x2)-f[(x1+x2)/2]成立.不妨设x1x2.根据拉格朗日（Lagrange）中值定理，可得：f[(x1+x2)/2]-f(x1)=f’(ξ1)(x2-x1)/2, f(x2)-f[(x1+x2)/2=f’(ξ2)(x2-x1)/2,其中ξ1在x1和(x1+x2)/2之间，ξ2在(x1+x2)/2和x2之间，由假定条件x1x2可知，ξ1ξ2.由于f(x)在(a,b)上是凸函数，所以f(x)在(a,b)上满足f’’(x)0,所以f’(x)在(a,b)上递减，由于ξ1ξ2，则有f’(ξ1)f’(ξ2)，所以{f[(x1+x2)/2]-f(x1)}-{f(x2)-f[(x1+x2)/2]}=(x2-x1)[ f’(ξ1)- f’(ξ2)]/20,所以f[(x1+x2)/2]-f(x1)f(x2)-f[(x1+x2)/2]，所以f[(x1+x2)/2]1/2[f(x1)+f(x2)].如果假设x1x2，结果是一样的；如果x1=x2，则显然f[(x1+x2)/2]=1/2[f(x1)+f(x2)],因此我们证明了f[(x1+x2)/2]≥1/2[f(x1)+f(x2)]成立.

同理如果f(x)在(a,b)上是凹函数，x1，x2都在(a,b)上，则有不等式：1/2[f(x1)+f(x2)]≥f[(x1+x2)/2]成立.

对f(x)=tanx求二阶导数：f'(x)=1/cos^2x

f''(x)=1/cos^3x*(-2)*(cosx)'=2tanx/cos^2x

显然当x∈(0,π/2)时f''(x)0,是凹函数，故有1/2[f(x1)+f(x2)]f[(x1+x2)/2].

3詹森不等式是什么？

詹森不等式是以丹麦数学家约翰·詹森（Johan Jensen）命名。它给出积分的凸函数值和凸函数的积分值间的关系。

它本质上是对函数凹凸性的应用。詹森不等式具有许多作用，尤其是在证明不等式中发挥着巨大的作用，应用琴生不等式证明往往比借助其他一般性理论更为容易。

詹森不等式的重要性

函数的凹凸性在高中数学中不做具体要求，事实上这是高等数学研究的函数的一个重要性质。

詹森不等式也经常在高中数学练习或高考试题中出现，这也说明了高考命题的原则是源于教材而高于教材，同时也体现了为高校输送优秀人才的选拔功能性。而函数凹凸性的一个重要定理就是琴生不等式。

4jensen不等式是什么？

jensen不等式是：对于一个凸函数f，都有函数值的期望大于等于期望的函数值：E≥f(E)。上式当中xx是一个随机变量，它可以是离散的或者连续的，假设x p(x)x p(x) 。

Jensen不等式，又名琴森不等式或詹森不等式（均为音译）。它是一个在描述积分的凸函数值和凸函数的积分值间的关系的不等式。

琴生不等式，是由丹麦数学家约翰•延森（Johan Jensen）命名，也成为Jensen不等式或者詹森不等式。

根据凸函数性质，凸集C CC上的凸函数f ff上的两点x 1 , x 2 x_1,x_2x1,x2满足θf ( x 1 ) + ( 1−θ) f ( x 2 )≥f (θx 1 + ( 1−θ) x 2 ) ,θ∈ \theta f(x_1)+(1-\theta)f(x_2) \geq f(\theta x_1 + (1-\theta)x_2) , \theta \inθf(x1)+(1−θ）f(x2)≥f(θx1+(1−θ）x2),θ∈［0,1]。

把上式推广到n nn个点的情况，即得Jensen不等式：对于凸函数f ff，其所在凸集C CC中的任意点集{ x i }⊂C \{x_i\} \subset C{xi}⊂C，若θi≥0 \theta_i \geq 0θi≥0且∑iθi = 1 \sum_i\theta_i = 1∑iθi=1。

5什么是琴生不等式

琴生（Jensen）不等式（也称为詹森不等式）：（注意前提、等号成立条件） 设f(x)为凸函数,则f[(x1+x2+……+xn)/n]≥[f(x1)+f(x2)+……+f(xn)]/n(上凸);设f(x)为凹函数,f[(x1+x2+……+xn)/n]≤[f(x1)+f(x2)+……+f(xn)]/n(下凸),称为琴生不等式（幂平均）. 加权形式为： f[(a1*x1+a2*x2+……+an*xn)]≤a1f(x1)+a2f(x2)+……+anf(xn)(下凸);f[(a1*x1+a2*x2+……+an*xn)]≥a1f(x1)+a2f(x2)+……+anf(xn)(上凸),其中 ai≥0(i=1,2,……,n),且a1+a2+……+an=1. 凸函数的概念： 【定义】如果函数f(x)满足对定义域上任意两个数x1,x2都有(f(x1)+f(x2))/2≥f((x1+x2)/2),那么f(x)为凸函数,或下凸函数. 【定义】如果函数f(x)满足对定义域上任意两个数x1,x2都有(f(x1)+f(x2))/2≤f((x1+x2)/2),那么f(x)为凹函数,或上凸函数. 同样,如果不等式中等号只有x1=x2时才成立,我们分别称它们为严格的凹凸函数 琴生不等式说, 对于任意的凸函数f(x)以及其定义域上n个数x1,x2,...,xn,那么都有(f(x1)+f(x2)+...+f(xn))/n≥f((x1+x2+...+xn)/n) 对于任意的凹函数f(x)以及其定义域上n个数x1,x2,...,xn,那么都有(f(x1)+f(x2)+...+f(xn))/n≤f((x1+x2+...+xn)/n) 如果上面凹凸是严格的,那么不等式的等号只有x1=x2=...=xn才成立 现在我们看看如何证明琴生不等式,下面只对凸函数加以证明. 首先我们对n是2的幂加以证明,用数学归纳法 假设对于n=2^k琴生不等式成立,那么对于n=2^(k+1) (f(x1)+f(x2)+...+f(xn))/n =((f(x1)+f(x2)+...+f(x(n/2)))/(n/2)+(f(x(n/2+1))+...+f(xn))/(n/2))/2 ≥(f(（(x1+x2+...+x(n/2)）/(n/2))+f((x(n/2+1)+...+xn)/(n/2)))/2 ≥f(((（(x1+x2+...+x(n/2)）/(n/2)+(x(n/2+1)+...+xn)/(n/2)))/2) =f((x1+x2+...+xn)/n) 所以对于所有2的幂,琴生不等式成立. 现在对于一个普通的n,如果n不是2的幂,我们可以找到一个k,使得2^kn 然后我们设 x(n+1)=x(n+2)=...=x(2^k)=(x1+x2+...+xn)/n 代入2^k阶的琴生不等式结论,整理后就可以得到结论. 现在看看如何使用琴生不等式证明平方平均不等式 (x1^2+x2^2+...+xn^2)/n=[(x1+x2+...+xn)/n]^2 显然,我们可以查看函数f(x)=x^2 由于 (f(x1)+f(x2))/2=(x1^2+x2^2)/2=(2x1^2+2x2^2)/4≥(x1^2+x2^2+2x1x2+(x1-x2)^2)/4≥(x1^2+x2^2+2x1x2)/4=((x1+x2)/2)^2 所以f(x)=x^2是凸函数 所以我们可以得到,对于任意x1,x2,...,xn, 有(f(x1)+f(x2)+...+f(xn))/n≥f((x1+x2+...+xn)/n) 也就是n阶平方平均不等式. 从上面证明过程我们知道通常情况用初等方法判断函数的凹凸性比较麻烦. 不过如果利用数学分析我们可以有个非常方便的结论. 如果f(x)二阶可导,而且f''(x)≥0,那么f(x)是下凸函数(凸函数） 如果f(x)二阶可导,而且f''(x)≤0,那么f(x)是上凸函数(凹函数) 至于这个证明,只要使用f(x)的泰勒展开式,利用其二阶余项就可以证明的.（或者构造一个函数采用中值定理） 有了这个结论以后,使用琴生不等式就非常方便了, 现在我们可以非常容易的证明一般情况的平均不等式 比如 i)(x1^t+x2^t+...+xn^t)/n≥((x1+x2+...+xn)/n)^t, (t1时） ii)(x1^t+x2^t+...+xn^t)/n≤((x1+x2+...+xn)/n)^t, (0

好了，jensen不等式的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于jensen不等式积分形式、jensen不等式的信息别忘了在本站进行查找哦。