Zgodba o gradu sega v daljno leto 1004, ko je nemški cesar Henrik II. podaril blejsko posest briksenškemu škofu Albuinu. Takrat je na mestu današnjega gradu stal samo romanski stolp, ki ga je varovalo obzidje. Prvi grad so škofje zgradili okoli leta 1011, njegova prvotna naloga pa je bila obrambne narave. Briksenški škofje v gradu niso nikoli živeli, zato v njem ni bilo razkošnih soban.
V zrelem srednjem veku so dogradili še dodatne stolpe in izpopolnili utrdbeni sistem z obzidjem in dvižnim mostom nad jarkom. Jarek je danes zasut, vendar prizor vseeno spodbuja domišljijo.
Za grad je značilna dvojna struktura – utrjen osrednji del, namenjen bivanju fevdalnih gospodov in zunanji del z obzidjem ter poslopji za služinčad. Leta 1511 je grad močno poškodoval potres, vendar je bil obnovljen in takrat dobil današnjo podobo. Grajske stavbe so okrašene s poslikavami grbov, naslikanih v fresko tehniki, nekateri pa so tudi vklesani v kamen.
