Posso ser responsabilizado por desvio de medicamentos mesmo deixando a chave do armário de psicotrópicos com o proprietário do estabelecimento?

Sim.
Somente o farmacêutico deve guardar a chave do armário de medicamentos controlados, desta forma, nunca deve fornecer a chave a balconistas e mesmo ao empregador. Pois se assim fornecer, assume a responsabilidade sobre o que a pessoa encarregada possa fazer.

Referência: art. 67 da Portaria 344/98 Ministério da Saúde.

Fonte: Site CRF-DF - Curiosidade Jurídica
http://www.crfdf.org.br/site/sites/default/files/16_perguntas_frequentes_e_duvidas_de_farmaceuticos.pdf