期待値は、それぞれの k に対して確率を求め、それらの積を足せば求められます。以下、解答例です。
k=2 となるのは、2 回目に 1 回目と同じ色を取り出すときだから、
P(k=2)=51である。
k=3 となるのは、2 回目に 1 回目と異なる色を取り出し、さらに 3 回目に 1 回目または 2 回目と同じ色を取り出すときだから、
P(k=3)=54×42=52である。
2 回目に 1 回目と異なる色を取り出し、かつ 3 回目に 1,2 回目と異なる色を取り出すと、4 回目には必ず同じ色が取り出されるから、
P(k=4)=54×42×1=52である。
よって、求める期待値 E は、
E=2×51+3×52+4×52=516である。
なお、P(k=4)=1−(P(k=2)+P(k=3)) と計算しても同じ値が得られます。