$(2)$
$a$ の選び方は $(2n+1)$ 通り,$b$ の選び方は $(n^{2}+n+1)$ 通りであるから,ありうる $a,b$ の組の総数は $(2n+1)(n^{2}+n+1)$ 通りである。
ここで,
$$
\begin{cases} -n \leq a \leq n \\ -n \leq b \leq n^{2} \\ b \leq a^{2} \end{cases}
$$
をみたす領域を $D_{1}$ とし,図示すると下図の斜線部 (境界線をすべて含む) のようになる。
$(*)$ が実数解をもつような $a,b$ の組の個数は,$D_{1}$ 内に存在する格子点の個数に等しい。
よって,$D_{1}$ 内に存在する格子点の個数を数える。
$D_{1}$ は $b$ 軸に関して対称であるから,$1 \leq a \leq n$ の範囲について考える。
$a=k$ $(k \in \mathbb Z)$ 上の格子点の数は $(k^2+n+1)$ 個であり,これを $1$ から $n$ まで足し合わせると,
$$
\begin{eqnarray}
\sum_{k=1}^{n} (k^2+n+1) &=& \sum_{k=1}^n k^{2} + \sum_{k=1}^{n} (n+1) \\
&=& \frac{1}{6}n(n+1)(2n+1)+n(n+1) \\
&=& \frac{1}{6}n(n+1)\{(2n+1)+6\} \\
&=& \frac{1}{6}n(n+1)(2n+7)
\end{eqnarray}
$$
となる。
$D_{1}$ の $-n \leq a \leq -1$ の範囲にもこれと同じだけ格子点があり,$a=0$ 上には $(n+1)$ 個あるから,$D_{1}$ 内に存在する格子点の総数は,
$$
\begin{eqnarray}
(D_{1}内の格子点の総数) &=& 2 \times \frac{1}{6}n(n+1)(2n+7)+(n+1) \\
&=& \frac{1}{3}n(n+1)(2n+7)+(n+1) \\
&=& \frac{1}{3}(n+1)\{n(2n+7)+3\} \\
&=& \frac{1}{3}(n+1)(2n^{2}+7n+3) \\
&=& \frac{1}{3}(n+1)(n+3)(2n+1)
\end{eqnarray}
$$
したがって,求める $P(n)$ の式は,
$$
\begin{eqnarray}
P(n) &=& \frac{\frac{1}{3}(n+1)(n+3)(2n+1)}{(2n+1)(n^{2}+n+1)} \\
&=& \frac{(n+1)(n+3)}{3(n^{2}+n+1)}
\end{eqnarray}
$$
この問題を解いた人はこんな問題も解いています