与えられた条件式を辺々 $abc>0$ で割り、実数 $k\neq0$ を
$$
\frac{a(1-a)}{b}=\frac{b(1-b)}{c}=\frac{c(1-c)}{a}=\frac{1}{k}
$$
によって定める。この $k$ を用いて $f(x)=kx(1-x)$ とおけば、$a,b,c$ に関する制約条件は $f(a)=b,f(b)=c,f(c)=a$ と同値である。ここで $f(x)\neq x$ を満たす実数について
$$
\displaystyle g(x)=\frac{f(f(f(x)))-x}{f(x)-x}
$$
とおくと、$a,b,c$ は $g(x)=0$ の解になっている。逆に、実数 $x$ が $f(x)\neq x$ かつ $g(x)=0$ を満たすならば、$g(f(x))=g(f(f(x)))=0$ が成り立ち、これらの $x,f(x),f(f(x))$ は相異なる正の実数の組となる。まず以下の補題を示す。
[証明] $a,b,c$ は相異なるので、$a<b,a<c$ と仮定して一般性を失わない。
$k<0$ と仮定すると、$a,b,c>0$ と $k$ の定義より $a,b,c>1$ となる。
$k<0$ より $f(x)=kx(1-x)$ は $x>1$ において狭義単調増加だから、$a<b$ より $b=f(a)< f(b)=c$ が成り立つ。これよりさらに $c=f(b)< f(c)=a$ となるが、これは $a<c$ に矛盾する。したがって $k>0$ であり、このとき $a,b,c<1$ であるから主張が成り立つ。$\square$
さて、条件式より $(1-a)(1-b)(1-c)=1/k^3$ が成り立つので、$g(x)=0$ が実数解を持つような $k$ の最小値について考える。少し計算すると
$$
\begin{eqnarray}
g(x)&=&\frac{f(f(kx(1-x))-x}{x(-kx+k-1)}\\
&=&\frac{f(k^2x(1-x)(kx^2-kx+1))-x}{x(-kx+k-1)}\\
&=&\frac{k^3x(1-x)(kx^2-kx+1)(k^3-2k^3x^3+k^2(k+1)x^2-k^2x+1)-x}{x(-kx+k-1)}\\
&=&\frac{-k^7x^8+4k^7x^7-2k^6(3k+1)x^6+2k^6(2k+3)x^5-k^4(k^3+6k^2+k+1)x^4+2k^4(k^2+k+1)x^3-k^3(k^2+k+1)x^2+(k^3-1)x}{x(-kx+k-1)}\\
&=&k^6x^6-k^5(3k+1)x^5+k^4(3k^2+4k+1)x^4-k^3(k^3+5k^2+3k+1)x^3+k^2(2k^3+3k^2+3k+1)x^2-k(k^3+2k^2+2k+1)x+k^2+k+1\\
&=&\frac{1}{256}\left( (16k^3x^3-8k^2(3k+1)x^2+2k(3k^2+10k+3)x+k^3-7k^2-5k-5)^2 - (k^2-2k-7)(-4k^2(3k^2-6k-5)x^2+4k(3k^3-5k^2-7k-7)x+k^4-12k^3+22k^2+20k+33)\right)
\end{eqnarray}
$$
が成り立つことがわかる。したがって
$$
\begin{eqnarray}
P(x)&=&16k^3x^3-8k^2(3k+1)x^2+2k(3k^2+10k+3)x+k^3-7k^2-5k-5 \\
Q(x)&=&(k^2-2k-7)(-4k^2(3k^2-6k-5)x^2+4k(3k^3-5k^2-7k-7)x+k^4-12k^3+22k^2+20k+33)
\end{eqnarray}
$$
とおくと、$g(x)=0$ は $(P(x))^2=Q(x)$ と同値である。
$k=1+2\sqrt2$ のとき $k^2-2k-7=0$ であることに注意する。以下、$\displaystyle 0<k<1+2\sqrt2$ ならば $g(x)=0 \Leftrightarrow (P(x))^2=Q(x)$を満たす実数が存在しないことを示す。
[証明] $\displaystyle 0<k<\frac{3+2\sqrt6}{3}$ とする。このとき $-4k^2(3k^2-6k-5)>0$ かつ $k^2-2k-7<0$ であり、$y=Q(x)$ のグラフは上に凸な放物線である。
この放物線の軸は $\displaystyle x=1-\frac{(1-k^2)(3k-7)}{2k(3k^2-6k-5)}$ であり、これが区間$(0,1)$に含まれることは $1<k<7/3$ と同値である。そこで以下のように場合分けして示す。
・$1<k<7/3$ のとき
このとき、$Q(x)$ の判別式が負であることを示す。$Q(x)$ の判別式(の定数倍)を計算すると、
$$
D((k-1)^2)=3(k-1)^6-16(k-1)^4+48(k-1)^2-64
$$
と表すことができるので、$t=(k-1)^2$ とおいて、$0<t<16/9$ における関数 $D(t)$ の符号を調べる。$\displaystyle D'(t)=9t^2-32t+48=9\left(t-\frac{16}{9}\right)^2+\frac{176}{9}>0$ なので $D(t)$ は狭義単調増加である。$D(2)=-8<0$ であるから、$0<t<16/9<2$ において $D(t)<0$ である。したがって判別式が負なので、特に $0<x<1$ において $Q(x)<0$ である。
・$0<k\leq1$ または $\displaystyle 7/3 \leq k<\frac{3+2\sqrt6}{3}$のとき
このとき、軸の位置は $x>1$ を満たすので、$0<x<1$ において $Q(x)$ は狭義単調増加である。ここで
$$
\begin{eqnarray}
Q(1) &=& (k^2-2k-7)(-4k^2(3k^2-6k-5)+4k(3k^3-5k^2-7k-7)+k^4-12k^3+22k^2+20k+33)\\
&=& (k^2-2k-7)(k^4-8k^3+14k^2-8k+33)\\
&=& (k^2-2k-7)(k-3)(k^3-5k^2-k-11)
\end{eqnarray}
$$
であり、$q(k)=k^3-5k^2-k-11$ とおくと $q'(x)=3k^2-10k-11$ であり、$\displaystyle \frac{5-2\sqrt7}{3}<0<k<3<\frac{5+2\sqrt7}{3}$ で $q(k)$ は狭義単調減少であることがわかる。そして $q(0)=-11<0$ なので、$\displaystyle 0<1<\frac{7}{3}<k<\frac{3+2\sqrt6}{3}<3$ において $q(k)<0$ であり、$Q(1)<0$ である。したがって $0<x<1$ において $Q(x)<0$ である。
したがって、いずれにしても $0<x<1$ において $Q(x)<0$ が成り立つ。$\square$
さて、補題1より $g(x)=0\Leftrightarrow 0\leq(P(x))^2=Q(x)$ の解は、存在するならば 区間 $(0,1)$ に含まれる。しかし補題2より $\displaystyle 0<k<\frac{3+2\sqrt6}{3}$ ならば、$0<x<1$ において $Q(x)<0$ であるから解は存在しない。
次に、$\displaystyle \frac{3+2\sqrt6}{3}\leq k<1+2\sqrt2$ のとき、以下の補題が成り立つ。
[証明] $\displaystyle \frac{3+2\sqrt6}{3}\leq k<1+2\sqrt2$ とする。このとき $-4k^2(3k^2-6k-5)\leq0$ かつ $k^2-2k-7<0$ であるから、$y=Q(x)$ のグラフは直線、あるいは下に凸な放物線である。したがって、$Q(1/5)<0$ かつ $Q(4/5)<0$ であることを示せば主張が従う。
実際、$k^2-2k-7<0$ および $k<1+2\sqrt2<4$ に注意すると、
$$
\begin{eqnarray}
Q\left(\frac{1}{5}\right)&=&(k^2-2k-7)\left(-\frac{4}{25}k^2(3k^2-6k-5)+\frac{4}{5}k(3k^3-5k^2-7k-7)+k^4-12k^3+22k^2+20k+33\right)\\
&=&\frac{k^2-2k-7}{25}(-4k^2(3k^2-6k-5)+20k(3k^3-5k^2-7k-7)+25(k^4-12k^3+22k^2+20k+33))\\
&=&\frac{k^2-2k-7}{25}(73k^4-376k^3+430k^2+360k+825)\\
&<&\frac{k^2-2k-7}{25}(64k^4-384k^3+416k^2+360k+580)\\
&=&\frac{k^2-2k-7}{25}\left(4(4k^2-12k-5)^2+120(4-k)\right)<0
\end{eqnarray}
$$
$$
\begin{eqnarray}
Q\left(\frac{4}{5}\right)&=&(k^2-2k-7)\left(-\frac{64}{25}k^2(3k^2-6k-5)+\frac{16}{5}k(3k^3-5k^2-7k-7)+k^4-12k^3+22k^2+20k+33\right)\\
&=&\frac{k^2-2k-7}{25}(-64k^2(3k^2-6k-5)+80k(3k^3-5k^2-7k-7)+25(k^4-12k^3+22k^2+20k+33))\\
&=&\frac{k^2-2k-7}{25}(73k^4-316k^3+310k^2-60k+825)\\
&<&\frac{k^2-2k-7}{25}(72k^4-316k^3+310k^2-60k+824)\\
&=&\frac{2(k^2-2k-7)}{25}(36k^4-158k^3+155k^2-30k+412)\\
&<&\frac{2(k^2-2k-7)}{25}\left(36k^4-160k^3+\left(153+\frac{7}{9}\right)k^2-\left(30+\frac{2}{3}\right)k+340\right)\\
&=&\frac{2(k^2-2k-7)}{25}\left(4\left(3k^2-\frac{20}{3}k-1\right)^2+84(4-k)\right)<0\\
\end{eqnarray}
$$
であるから、主張が成り立つ。$\square$
したがって、$\displaystyle \frac{3+2\sqrt6}{3}\leq k<1+2\sqrt2$ のとき、補題1と補題3より、$g(x)=0\Leftrightarrow 0\leq(P(x))^2=Q(x)$ の解は、存在するならば 区間 $(0,1/5)\cup(4/5,1)$ に含まれる。もしすべての解が $(0,1/5)$ に含まれるとすると、この区間における $f$ の単調性から補題1の証明時と同様の矛盾が導かれるので、少なくとも一つの解は $(4/5,1)$ 内に存在し、そのうちの一つを $a$ として一般性を失わない。このとき、$a=f(c)\in (4/5,1)$ であるが、 $f(1/5)=f(4/5)=4k/25<4/5$ であるから、$a\in (1/5,4/5)$ となって、全ての解が区間 $(0,1/5)\cup(4/5,1)$ に含まれることに矛盾する。したがって $\displaystyle \frac{3+2\sqrt6}{3}\leq k<1+2\sqrt2$ においても $(P(x))^2=Q(x)$ の解は存在しない。
以上の考察により、$\displaystyle 0<k<1+2\sqrt2$ では $g(x)=0 \Leftrightarrow (P(x))^2=Q(x)$ を満たす実数が存在しないことが示された。
一方、$k=1+2\sqrt2$ のとき、
$$
\begin{eqnarray}
P(x) &=& 16((25+22\sqrt2)x^3-7(6+5\sqrt2)x^2+7(3+2\sqrt2)x-(3+\sqrt2))\\
Q(x) &\equiv& 0
\end{eqnarray}
$$
であるが、
$$
\begin{eqnarray}
&P(0) &=& -16(3+\sqrt2)<0\\
&P(1/2) &=&2>0\\
&P(3/4) &=& -\frac{21+58\sqrt2}{4}<0\\
&P(1) &=& 16>0
\end{eqnarray}
$$
であるから、$g(x)=0 \Leftrightarrow (P(x))^2=Q(x)$ は区間 $(0,1/2),(1/2,3/4),(3/4,1)$ 内にそれぞれちょうど一つずつ解を持つ。
以上より、条件を満たす $a,b,c$ の組が存在するような $k$ の最小値は $k=1+2\sqrt2$ であり、このとき $(1-a)(1-b)(1-c)=1/k^3$ は最大値
$$
\frac{1}{(1+2\sqrt2)^3}=\frac{-25+22\sqrt2}{343}
$$
をとる。したがって $\fbox{アイウ}=-25,\fbox{エオ}=22,\fbox{カ}=2,\fbox{キクケ}=343$ である。
ラグランジュの未定乗数法でも答えが出せるのかは試していないので分かりません。(他の方法でも良いので)もしもう少し簡単に解けたという場合は教えてください。
この問題を解いた人はこんな問題も解いています