正の実数\(a,b,c > 0\)が\(a^2+b^2+c^2+abc = 4\)を満たすとする。このとき、以下の不等式が成り立つことを示せ：\[0 \leq ab+bc+ca-abc \leq 2\]

まず\(a^2 < a^2+b^2+c^2+abc = 4\)より\(a<2\)が従う。同様に、\(b,c < 2\)が従う。次に、\[(2-a)(2+a) = 4-a^2 = b^2+c^2+abc \geq 2bc + abc = bc(2+a)\]に注意する。\(2-a > 0\)なので、両辺を\(2+a\)で割ると、\(a+bc \leq 2\)が従う。同様に、\(b+ca, c+ab \leq 2\)が従う。

さて、示すべき不等式は不等号の前後が全て対称式であるため、\(a\geq b \geq c\)であると仮定しても一般性を失わない。このとき、\(a^2+b^2+c^2+abc = 4\)より、\(a \geq 1 \geq c\)が成り立つ。従って\(ab-abc = ab(1-c) \geq 0\)となって、下からの評価が終了した。上から評価する。\(b\geq 1\)であれば、\((1-a)(1-b) \geq 0\)であるから、\[ab+bc+ca-abc= ab + c - c(1-a)(1-b) \leq ab+c \leq 2\]となる。\(b\leq 1\)であれば、\((1-b)(1-c) \geq 0\)であるから、\[ab+bc+ca-abc= bc + a - a(1-b)(1-c) \leq bc + a \leq 2\]となる。以上で上からの評価を完了し、証明を終了する。

まず\(a^2 < a^2+b^2+c^2+abc = 4\)より\(a < 2\)が従う。同様に、\(b,c < 2\)が従う。次に、\[x :\overset{\mathrm{{\scriptsize def}}}{=} a\sqrt{4-b^2}, \ \ y :\overset{\mathrm{{\scriptsize def}}}{=} b\sqrt{4-a^2}\]と置く。\begin{align*}4-a^2 &= b^2+c^2+abc > b^2, \\4-b^2 &= a^2+c^2+abc > a^2\end{align*}となるので、\begin{align*}(4-a^2)(4-b^2)&= \sqrt{(4-a^2)(4-b^2)}^2 \\&\geq ab\sqrt{(4-a^2)(4-b^2)} = xy\end{align*}が成り立つ。\[z :\overset{\mathrm{{\scriptsize def}}}{=} \frac{(4-a^2)(4-b^2) - xy}{x+y} > 0\]とおくと、\begin{align*}\frac{2x}{\sqrt{(x+y)(x+z)}}&= \frac{2x}{\sqrt{(x+y)\left( \frac{x(x+y) + (4-a^2)(4-b^2) - xy}{x+y} \right)}} \\&= \frac{2x}{\sqrt{x^2 + (4-a^2)(4-b^2)}} \\&= \frac{2x}{\sqrt{a^2(4-b^2) + (4-a^2)(4-b^2)}} \\&= \frac{2a\sqrt{4-b^2}}{\sqrt{4(4-b^2)}} \\&= a\end{align*}となる。同様に、\begin{align*}\frac{2y}{\sqrt{(x+y)(y+z)}}&= \frac{2y}{\sqrt{(x+y)\left( \frac{y(x+y) + (4-a^2)(4-b^2) - xy}{x+y} \right)}} \\&= \frac{2y}{\sqrt{y^2 + (4-a^2)(4-b^2)}} \\&= \frac{2y}{\sqrt{b^2(4-a^2) + (4-a^2)(4-b^2)}} \\&= \frac{2b\sqrt{4-a^2}}{\sqrt{4(4-a^2)}} \\&= b\end{align*}となる。

さて、条件式\(a^2+b^2+c^2+abc=4\)を\(c\)に関する\(2\)次方程式と見て解くと、\begin{align*}c &= \frac{-ab + \sqrt{(ab)^2 - 4(a^2+b^2-4)}}{2} \\&= \frac{1}{2}\times \left( - \frac{4xy}{(x+y)\sqrt{(y+z)(x+z)}} + \sqrt{(4-a^2)(4-b^2)}\right) \\&= \frac{1}{2}\times \left( - \frac{4xy}{(x+y)\sqrt{(y+z)(x+z)}} + \sqrt{\frac{16(xy+yz+zx)^2}{(x+y)^2(y+z)(x+z)}}\right) \\&= \frac{4xy - 4(xy+yz+zx)}{2(x+y)\sqrt{(x+z)(y+z)}} \\&= \frac{2(xz+yz)}{(x+y)\sqrt{(x+z)(y+z)}} \\&= \frac{2z}{\sqrt{(x+z)(y+z)}}\end{align*}となる。これらを\(ab+bc+ca-abc\)に代入すると、\begin{align*}& ab + bc + ca - abc \\&= \frac{4xy\sqrt{(x+z)(y+z)} + 4yz\sqrt{(y+x)(z+x)} + 4zx\sqrt{(z+y)(z+x)} - 8xyz}{(x+y)(y+z)(z+x)}\end{align*}となる。よって、示すべき不等式は以下の不等式に帰着される：\[0 \leq \frac{xy\sqrt{(x+z)(y+z)} + yz\sqrt{(y+x)(z+x)} + zx\sqrt{(z+y)(z+x)} - 2xyz}{(x+y)(y+z)(z+x)} \leq \frac{1}{2}.\]\(\sqrt{(x+z)(y+z)} \geq z, \sqrt{(y+x)(z+x)}\geq x\)であるから、\begin{align*}&xy\sqrt{(x+z)(y+z)} + yz\sqrt{(y+x)(z+x)} + zx\sqrt{(z+y)(z+x)} - 2xyz \\&\geq xyz + xyz + zx\sqrt{(z+y)(z+x)} - 2xyz \geq 0\end{align*}が成り立つ。以上で下からの評価を完了する。上からの評価を行う。相加相乗平均の関係より\(\sqrt{(x+z)(y+z)} \leq \frac{x+y+2z}{2}\)であるから、これを代入することで、\begin{align*}&\frac{xy\sqrt{(x+z)(y+z)} + yz\sqrt{(y+x)(z+x)} + zx\sqrt{(z+y)(z+x)} - 4xyz}{(x+y)(y+z)(z+x)} \\&\leq \frac{xy(x+y+2z) + yz(y+z+2x) + zx(z+x+2y) - 4xyz}{2(x+y)(y+z)(z+x)} \\&= \frac{x^2y + xy^2 + y^2z+yz^2 + z^2x+zx^2 + 2xyz}{2(x+y)(y+z)(z+x)} = \frac{1}{2}\end{align*}となる。以上で上からの評価を完了し、証明を終了する。