Posteriormente, cuando se trasladó el quinto Dalai Lama a este lugar, hacía 1645 se empezaron las obras. Con nueve plantas, finalizaron tres años más tarde. Desde su construcción, se han ido sucediendo los consecutivos Dalais Lamas hasta que el último y actual Dala Lama tuvo que exiliarse debido a la invasión china.