RS PKU Muhammadiyah Yogyakarta milik Pimpinan Pusat Muhammadiyah didirikan oleh K.H. Ahmad Dahlan sebagai Ketua Persyarikatan Muhammadiyah atas inisiatif muridnya, K.H. Sudjak, yang pada awalnya berupa klinik dan poliklinik pada tanggal 15 Februari 1923 dengan lokasi pertama di kampung Jagang Notoprajan No.72 Yogyakarta. Awalnya bernama PKO (Penolong Kesengsaraan Oemoem) dengan maksud menyediakan pelayanan kesehatan bagi kaum dhuafa’. Pendirian pertama atas inisiatif H.M. Sudjak yang didukung sepenuhnya oleh K.H. Ahmad Dahlan. Seiring dengan waktu, nama PKO berubah menjadi PKU (Pembina Kesejahteraan Umat).

Pada tahun 1928 klinik dan poliklinik PKO Muhammadiyah pindah lokasi ke Jalan Ngabean No.12 B Yogyakarta (sekarang Jalan K.H. Ahmad Dahlan). Pada tahun 1936 klinik dan poliklinik PKO Muhammadiyah pindah lokasi lagi ke Jalan K.H. Dahlan No. 20 Yogyakarta hingga saat ini. Pada tahun 1970-an status klinik dan poliklinik berubah  menjadi RS PKU Muhammadiyah Yogyakarta.

Bersamaan dengan berkembangnya berbagai amal usaha di bidang kesehatan, termasuk di dalamnya adalah RS PKU Muhammadiyah Yogyakarta maka Pimpinan Pusat perlu mengatur gerak kerja dari amal usaha Muhammadiyah bidang kesehatan melalui Surat Keputusan Pimpinan Pusat Muhammadiyah No 86/SK-PP/IV-B/1.c/1998 tentang Qaidah Amal Usaha Muhammadiyah Bidang Kesehatan. Dalam Surat Keputusan tersebut diatur tentang misi utamanya untuk meningkatkan kemampuan masyarakatagar dapat mencapai derajat kesehatan yang lebih baik, sebagai bagian dari upaya menuju terwujudnya kehidupan yang sejahtera dan sakinah sebagaimana dicita-citakan Muhammadiyah. Qaidah inilah yang menjadi dasar utama dalam menjalankan organisasi RS PKU Muhammadiyah Yogyakarta.

Berbagai perubahanyang berkembang di luar lingkungan maupun yang terjadi secara internal di dalam organisasi RS PKU Muhammadiyah. tentang keselamatan pasien, keterbatasan akses pelayanan kesehatan pada sebagian masyarakat tertentu, perkembangan ilmu dan teknologi, huge burden disease, hingga semakin terbukanya batas-batas informasi yang berimbas terhadap makin kritisnya pelanggan terhadap pelayanan kesehatan serta perubahan regulasi pemerintah, diantisipasi dengan berbagai langkah dari perbaikan saran prasarana dan Sumber Daya Insani, sehingga menjadikan RS PKU Muhammadiyah Yogyakarta selain mampu bersaing dengan sarana pelayanan kesehatan yang lain juga patuh terhadap regulasi pemerintah.