RDS側
- インスタンスサイズ(db.t3.microなど)
- RDSのバージョンアップ前後のバージョン番号
- パラメータグループがデフォルトかカスタムか
- CloudWatchの
FreeableMemoryとDatabaseConnectionsの推移グラフ - スロークエリログが有効になってるか
アプリ側
- フレームワーク(Flask?Django?)
- DB接続まわりのライブラリとバージョン(SQLAlchemyなど)
アラート設定
- FreeableMemoryのアラート閾値がいくつか
これだけ持ってくれば原因の見当がつきます。

コメント