わけあって、インストールされているgemを全部削除した。
手順は、以下の通り。

1. gem listでインストールされているgemをリストする。
2. リストしたgemのかっこで囲まれたバージョン情報のところと改行を削除して、スペース区切りのリストにする。
3. 以下で一括削除。

   $ sudo gem uninstall -Ixa actionpack activemodel activerecord ...(以下gemのスペース区切りリスト)

optionの意味は、

-a, --[no-]all                   Uninstall all matching versions
-I, --[no-]ignore-dependencies   Ignore dependency requirements while
                                 uninstalling
-x, --[no-]executables           Uninstall applicable executables without
                                 confirmation

もっと良い方法がありそうだけど。