托林寺紧挨象泉河畔,总面积东西长,南北窄,分殿堂、僧侣、僧居、塔林三个部分,呈条形布置。
殿堂有:迦萨殿、弥勒殿、十八罗汉殿、白殿、集会殿、护法神殿和讲经台、嘛呢房等建筑。迦萨殿仅次于西端,居中,其它殿堂向前延伸,两侧排列。边萨殿东的东西向轴线上,有一座大菩提塔,殿塔之间围成广场,兼跳神的地方。
迦萨殿,是托林寺的主要建筑,设计十分特殊。建筑东向分内外两圈。内圈殿堂呈十字型,正中14x14米的方殿,安放着立体坛城和朗姆那佛像。方殿四个方向设4殿,周围环绕回廊一周。外圈东向为门厅,供养释迦牟尼和十八罗汉。南、西、北三向各有殿堂5座,中间殿堂7.5x8.2米,带转经道,外圈四角建有四塔,塔高约13米,迦萨殿共有23座佛殿,而号称百殿,故名迦萨,藏语意思是100个地方。殿堂的建筑,在西藏千姿百态的佛殿中独树一帜。史料中有这样的记载:“该建筑物系仿桑耶寺而建”,中间是方殿,表示须弥山,环廊外圈四向的4组佛殿分别代表“东胜身洲”、“南瞻部洲”、“西牛货洲”、“北俱卢洲”;四角四座佛塔代表四大天王等。把桑耶寺这组庞大建筑群所表现的设计思想和内容,组织在一幢建筑之中,其设计精巧,构思奇妙,堪称藏族建筑史上又一杰作。
迦萨殿的出现,震动了远近四邻,香客纷纷前来朝圣。公远15世纪初和末叶,拉达克王扎巴德和次旺朗杰,先后两次测绘迦萨殿,按照它的模式兴建寺庙与佛殿。现在,殿堂仅存墙垣,顶盖、梁架、佛像、壁画均已茫然无存。
集会殿,位于寺庙的东南端,座西朝东,由大殿、厨房、仓库、管理用房和反证法神殿组成。集会殿平面呈“凸”字型,东部经堂,西部佛殿,经堂面阔七间,进深四间,共计28间。地面比经堂稍高,殿堂内部满给壁画和彩画。
白殿,居集会殿东北,座北朝南,平面规整,呈长方形,北部中间突出一小佛殿。殿内42根立柱。正门仿曼荼罗门饰。殿堂壁画极其精美,内容主要是宗教画,其它还有反映牧民生活的挤牛奶场面画,还有阿里地区乡味很浓厚的舞蹈表演等等。
僧居,位于殿堂群的南北两侧,一字排列。在东端,有一座建筑物叫色康,传为阿底峡和大译师仁青桑波的拉章。阿底峡在这里度过了六个春秋。他讲授佛法,精修理论,写成了《菩提道伦》等许多经论著作。目前,这座拉章建筑,人剩下遗址,已无法看清它的面目了。
塔林,分布在寺院的北面和西北面,沿河岸布置,东西走向。分两组,每组均有三条长塔,这是由数十或成百个同样形式的小塔一字排列串连而成的,长度可达数百米,十分壮观。长塔每组三条,以象征三部主。长塔之间,成团建有托林寺历辈高僧的墓塔,这样庞大的塔群,在西藏并不多见。
林寺建筑群,均为土木结构或土构建筑,由于长年风吹雨淋,加上人为的破坏,这座建筑史上难得的遗产,至今已残败不堪,除了两幢殿堂尚存外,其余只是断壁残墙了。近几年来,扎达县人民政府,专门设立了文管科,对托林寺等历史建筑和文物进行保护。