Fue conocido como “El Pibe del Abasto” o “El Pibe Terremoto” y cantó con reconocidas orquestas como las de Carlos Di Sarli, Miguel Caló y Aníbal Troilo, además de hacerlo como solista.

En 1939 –cuando tenía 17 años- a instancias del representante de Carlos Di Sarli que le había oído cantar, el músico le compró un traje de pantalones largos, – Rufino venía de un hogar humilde y usaba pantalones cortos- lo integra a su orquesta, lo presenta en Radio El Mundo y en el cabaret Moulin Rouge y el 11 de diciembre de 1939 graban para RCA Víctor el tango “Corazón“, de Di Sarli y Héctor Marcó.

Luego siguieron grabando –llegó en esa etapa a 46 piezas, un historial sin precedentes para sus 21 o 22 años- y dejó momentáneamente a Di Sarli.

En 1943 volvió con Di Sarli y el 17 de diciembre de ese año se registró el tango “Boedo y San Juan”, última grabación de la dupla Di Sarli – Rufino.