yo colge el homebrew y el convertidor y me funcionan las dos cosas correctamente.
prueba a instalarte un pack de los ultimos codecs de divx,xvid...(vamos el mas reciente) no estaras intentando abrir los archivos pmp desde el menu de video de la psp no

?tienes que usar el homebrew.
prueba a actualizar el avishynth,pon la version mas alta que puedas,yo tengo el ordenador actualizado al maximo de todos los programas y de todo y nunca me a fallado.de todas formas hay miles de programas para pasar los videos ala psp,relacionados con el formato pmp alo mejor no hay tantos pero hay variedad.prueba a hacer lo que te e dicho haber si te funciona.suerte,un saludo