与えられた関数方程式を
$$
f(x+y)+f(x)f(y)=f(xy+1)\ \ \cdots(\ast)
$$
とおく。
⑴ $(\ast)$ に $y=0$ を代入して $(f(0)+1)f(x)=f(1)$ が成り立つ。
$f(0)=-1$ のとき$f(1)=0$ である。
一方、$f(0)\neq-1$ のとき $f$ は定数関数で、$(\ast)$ に $f\equiv c$ を代入して $c=0$ がわかるので $f\equiv 0$ である。このとき $f(0)=0$ である。
したがって $\fbox{アイ}=-1,\fbox{ウ}=0,\fbox{エ}=0$ である。
⑵ 以下しばらくの間 $f(0)=-1,f(1)=0$ の場合を考える。$x \in {\mathbb R}$ を固定すると、
$$
\begin{eqnarray}
f'(x)&=&\lim_{h\to 0}\frac{f(x+h)-f(x)}{h} \\
&=&\lim_{h\to 0}\frac{f(xh+1)-f(x)(f(h)+1)}{h}
\end{eqnarray}
$$
である($(\ast)$を用いた)。$f$ は 微分可能なのでこの極限は $x$ によらず定まり、
$h\to0$ のとき $x$ によらず $(f(xh+1)-f(x)(f(h)+1)) \to f(1)-f(x)(f(0)+1)=0$ が成り立つので、ロピタルの定理の仮定をすべて満たす。よって
$$
\begin{eqnarray}
f'(x)&=&\lim_{h\to 0}\frac{f(xh+1)-f(x)(f(h)+1)}{h} \\
&=&\lim_{h\to 0} \left( \frac{\partial}{\partial h}(f(xh+1)-f(x)(f(h)+1)) \right) \\
&=&\lim_{h\to 0} (xf'(xh+1)-f(x)f'(h))\\
&=&f'(1)x-f'(0)f(x)
\end{eqnarray}
$$
が成り立つ。ここで $f'(1)=a,f'(0)=b$ とおいて $-bf(x)$ を移項すれば
$$
f'(x)+bf(x)=ax\ \ \cdots(\ast\ast)
$$
を得る。
・$b=0$ のとき
$(\ast\ast)$ を積分して $\displaystyle f(x)=\frac{a}{2}x^2+C$ ($C$ は積分定数) となるが、$f(0)=-1,f(-1)=0$ より $f(x)=x^2-1$ が必要である。逆にこのとき
$$
\begin{eqnarray}
f(x+y)+f(x)f(y)&=&(x+y)^2-1+(x^2-1)(y^2-1) \\
&=& x^2+2xy+y^2-1+x^2y^2-x^2-y^2+1 \\
&=&x^2y^2+2xy,\\
f(xy+1)&=&(xy+1)^2-1 \\
&=&x^2y^2+2xy\\
\end{eqnarray}
$$
であるから $(\ast)$ を満たす。
・$b\neq0$ のとき
$e^{bx}(f'(x)+bf(x))=(e^{bx}f(x))'$ なので、$(\ast\ast)$ の両辺に $e^{bx}$ をかけて積分すると
$$
\begin{eqnarray}
e^{bx}f(x)&=&a\int xe^{bx} dx\\
&=&\frac{a}{b}\int x(e^{bx})' dx\\
&=&\frac{a}{b}\left(xe^{bx} - \int e^{bx} dx \right)\\
&=&\frac{a}{b}\left(xe^{bx} - \frac{e^{bx}}{b}+C\right)\\
\therefore f(x)&=&\frac{a}{b}\left( x-\frac{1}{b}+Ce^{-bx}\right)
\end{eqnarray}
$$
となり、今 $f$ は定数関数でない場合を考えているので $a\neq 0$ である。もし $C\neq0$ であったとすると、$(\ast)$ で $y=x$ としたときの $x\to \pm\infty$ の極限で左辺は $O(e^{x})$ 程度、右辺は $O(e^{x^2})$ 程度となるので不合理であり、$C=0$ である。さらに $f(0)=-1,f(-1)=0$ であったから、結局 $f(x)=x-1$ が必要である。逆にこのとき
$$
\begin{eqnarray}
f(x+y)+f(x)f(y)&=&(x+y)-1+(x-1)(y-1) \\
&=& x+y-1+xy-x-y+1 \\
&=&xy,\\
f(xy+1)&=&(xy+1)-1 \\
&=&xy\\
\end{eqnarray}
$$
であるから $(\ast)$ を満たす。
以上より、条件を満たす関数 $f$ は $f(x)=0,x-1,x^2-1$ の $3$ 通りで全てである。
特に $f(23)$ のとり得る値は $0,22,528$ の $3$ 通りあり、それらの和は $550$ であるから、$\fbox{オ}=3,\fbox{カキク}=550$ である。
答えを出すだけなら、ある程度のところ (たとえば $(\ast\ast)$ を出すあたり) までやれば $2$ つの非自明な解 $f(x)=x-1,x^2-1$ に気付けると思います。
ちなみに、IMO 2012 shortlist (2012年国際数学オリンピックの候補問題) A5には、微分可能性の代わりに$f(-1)\neq0$ を仮定した同じ問題がありました。
https://www.imo-official.org/problems/IMO2012SL.pdf
こちらでは解析的な手法に頼れないので、また違った議論が要求されます。
2020/11/06 23:10 追記
$f(0)=-1,f(1)=0$ の時に微分方程式を導く部分ですが、ロピタルの定理を使わなくても、$x\neq0$ に対して
$$
\begin{eqnarray}
f'(x)&=&\lim_{h\to 0}\frac{f(x+h)-f(x)}{h} \\
&=&\lim_{h\to 0}\frac{f(xh+1)-f(x)(f(h)+1)}{h}\\
&=&x\lim_{h\to 0}\frac{f(1+xh)-f(1)}{xh}-f(x)\lim_{h\to 0}\frac{f(0+h)-f(0)}{h}\\
&=&f'(1)x-f'(0)f(x)
\end{eqnarray}
$$
を導くことができます。これは $x=0$ の時ももちろん正しいです。
この問題を解いた人はこんな問題も解いています