Ulmer, der in Kloten geboren wurde und eine Schweizer Lizenz besitzt, spielte bis Ende 2007 beim Nachwuchs der GCK Lions, ehe er in die höchste Juniorenliga Kanadas gedraftet wurde und drei Saisons mit den Spokane Chiefs aus dem US-Bundesstaat Washington in der kanadischen Western Hockey League absolvierte. In 188 Partien erzielte der Nachwuchs-Internationale 95 Punkte und gewann mit seinem Team 2008 dem Memorial Cup, die wichtigste Trophäe im kanadischen Junioren-Eishockey.