Primeiramente, devemos editar nosso sources.list

sudo gedit /etc/apt/sources.list

Adicione as seguintes linhas, ao final do arquivo

deb http://php53.dotdeb.org stable all
deb-src http://php53.dotdeb.org stable all

Agora, vamos fazer um update, e logo em seguida, instalar os pacotes necessários para ter uma estação LAMP

sudo apt-get update && sudo apt-get install apache2 php5-mysql libapache2-mod-php5 mysql-server

Agora você tem uma estação LAMP rodando, pode desfrutar todas as novidades do PHP5.3