最新のものに入れ替えるにしても入替元もバージョンアップしておきたい。
yum updateしてもサポートが切れてるのでリポジトリ参照先を変える。

baseurl=http://archive.kernel.org/centos-vault/5.10/os/$basearch/
■サポート切れの CentOS5 で yum を使えるようにする – Qiita

yum clean all してから yum update で使えるようになりました。

足りないソフトはソースからインストールしないといけないけどね…