まず、行列の累乗を簡単に計算するために A を対角化します。
P=(3−110)
とおくと、
P−1AP=(01−13)(2031)(3−110)=(1002)
となります。
ここで、
(P−1AP)n=P−1APP−1AP⋯P−1AP=P−1AnP
であり、
(P−1AP)n=(1002)n=(1002n)
です。
よって、
An=P(P−1AP)nP−1=(3−110)(1002n)(01−13)=(2n03(2n−1)1)
を得ます。
補足
P=(3−110) といきなり出てきましたが、もしこの行列をどのように求めたかが理解できなければ、対角化からもう一度復習することを推奨します。