Amazon RDS Multi-AZ 配備という公式のドキュメントに書いてあることだが、
RDSのインスタンスをMulti-AZ 配備という項目を設定するだけで、簡単にMulti-AZ構成にすることができる.
ただし、DB Instanceが所属するDB Subnet Groupに設定するSubnetが複数AZであることが前提条件である.
DB Subnet Groupに複数AZのSubnetを登録していため、特にはまらずMulti-AZに変更することができた.
単純に可用性を高めたいだけだったので、レプリカインスタンスを作るのではなく、Multi-AZ構成で十分である.