Como la instalación de Joomla! es bastante sencilla y además existen infinidad de tutoriales para realizarlo, me voy a centrar en algunos consejos extras que creo hay que tener en cuenta.
Elegir servidor: Teniendo en cuenta que Joomla! se encuentra programado en PHP requeriremos contratar un alojamiento linux con al menos la posibilidad de disponer de una base de datos Mysql. En principio Joomla no requerirá más de una base de datos porque todos los extras que añadiremos se incorporarán a la misma BBDD: Foro, gestor de archivos, calendario, etc.
Autoinstalable: Muchas empresas de hosting tienen implementado en el panel de control del cliente la posibilidad de instalar Joomla! con un solo click. Aunque nos podamos sentir tentados de usarlo yo no lo recomiendo por diferentes razones. La primera es que instalar joomla es la primera toma de contacto que tenemos con este maravilloso CMS y si no tenemos valor siquiera de instalarlo manualmente, ¿cómo vamos a ser capaces de modificarlo a nuestro antojo?
La segunda razón es evitar futuros problemas de permisos en los directorios. Al autoinstalarse no controlaremos quien es el propietario de las carpetas y podemos encontrarnos con problemas de permisos a la hora de instalar componentes. Asi que… instalación manual, por favor.
Material de seguridad: Es aconsejable guardar en un sitio seguro el archivo original de joomla (el ZIP que nos hemos descargado y que contiene el joomla original). Esto lo haremos en previsión a posibles migraciones de nuestro Joomla a otro servidor. Puede ser que cuando eso ocurra la versión que nosotros tenemos de Joomla no sea la misma que encontremos en la web oficial. Podemos evitar volvernos locos buscándola por Internet si hemos sido previsores. Ojo, también podemos ir actualizando nuestro Joomla y así contar siempre con la última versión pero a veces los componentes extras que tenemos instalados no se actualizan tan rápido como el propio joomla y podemos encontrarnos con incompatibilidades de versiones entre un componente y Joomla.

Otros materiales de seguridad: Por el mismo motivo que el punto anterior debemos guardar una copia de los archivos originales de los diferentes componentes extras que integremos a nuestro Joomla.
Documentación: ¿Tienes una memoria prodigiosa? Felicidades, pero yo no. Por eso suelo añadir un documento (txt o similar) con los pasos que voy dando. Datos de la Base de datos, claves, versiones de lo que instalo, problemas con los que me he ido encontrando y otras anotaciones de interés.
Un último consejo: El miedo se pierde al dar el primer paso, asi que si lo que te impide comenzar a utilizar y trastear con Joomla es eso, atrevete porque seguro que no te arrepentirás.