Es un truco muy simple, pero conocido por muy pocos, un "secreto" del Photoshop. En sí el Photoshop no calcula especificamente un fractal, sino que, usando una imagen cualkiera y modificandola se logra un efecto que parecería un fractal.

1- En una nueva imágen creen o exporten un objecto que deseen "fractalizar". En este caso yo creé este dibujo en una capa aparte.

fractales con photoshop 01

NOTA: Apartir de ahora hay que saber las teclas de metodo abreviado de Transformación Libre (Free Transform):
-Free Transform Copy: Ctrl+Alt+T
-Transform Again Copy: Ctrl+Alt+Shift+T

2 Free transform copy a la imagen original, achíquenla solo un poco manteniendo las teclas Alt+Shift para mantener la proporción y de la imágen.
Ahora muevan la cruz del centro (centro de transformación o "transform center") hacia abajo a la izquierda.

fractales photoshop 02

3- Ahora roten la imagen e intentan alinearla con el centro de la original moviéndola a mano (nudge) y tecléen Enter.

fractales con photoshop 03

4- Mantengan presionado Ctrl+Alt+Shift y teccléen muchas veces la T bien rápido. mientras más rapido más divertido Xd.

fractales con photoshop 04

Explicación:
Por qué pasa esto? Cuando transformamos algo, Photoshop guarda el calculo usado para su transformación, entonces cuando transformamos de nuevo, se usa ese mismo calculo sobre la nueva transformacion, de esta manera la copia nueva se transforma en la misma proporcion que la anterior más su propia transofmacion creando un efecto que en este caso lo usé para simular un fractal.

fractales con photoshop 05