胡志明去世后，1969年11月29日，当时北越官方发布了关于建造胡志明陵墓的决议以及陵墓设计和建造的基本要求，当时北越全国有77个设计方案，最后胡志明陵以模仿莫斯科列宁墓设计，获得越南黎笋和范文同等人的支持。
设计定稿后胡志明陵墓并没有马上动工，本打算1972至1973年的旱季开始建设。然而在1972年，美国轰炸北越，因此建设被推迟了。最终北越与美国签订和平协议之后的1973年9月2日，胡志明陵举行动土仪式。
胡志明陵建设建筑材料来自越南全国许多地区和地区，如安南山脉的越南省份送来了16种珍贵的木材。
胡志明陵根据四个标准建设：民族、现代性、尊严、简洁。陵墓的结构分为三个部分：平台采用传统风格的越南建筑三层基座建造; 陵墓的四面都有柱子，可以像越南农村房间，建海还有越南古老建筑特色。
陵墓是方形的，每边30米，面向东，南，北的门有两个65米长的平台，供越南重大节庆时使用，在陵墓前面是巴亭广场。
陵墓建在巴亭广场中间的旧主席台基础上，胡志明生前曾在此主持过众多获得，如在此宣读了独立宣言，宣布越南民主共和国诞生。随着陵墓的建设，巴亭广场也翻新和重建，最终使得巴亭广场总面积为14公顷，是越南最大的广场。
胡志明陵设计成能够抵抗7级里氏炸弹和地震的建筑，此外在建造陵墓时，考虑越南多雨季的特征，使用花岗岩外立面。这些因素使得胡志明陵具有相当的高度。陵墓还设计了“特殊室”，以便在战争时能够将胡志明的遗体保存好。
1975年8月29日，胡志明陵墓经过近2年的建设，正式落成，胡志明的遗体正式从北越山区转移到了胡志明陵，而越南也特意设立了胡志明陵保卫司令部。
胡志明陵落成时胡志明葬礼扶陵四人（长征、黎笋、范文同、孙德胜）出席，1975年8月29日举着花圈的越南官员在胡志明陵墓祭拜胡志明。
目前胡志明陵每周5天的上午开放（星期一和星期五除外），据统计平均每周有超过15000人前来胡志明陵瞻仰，许多个人和组织在重要节日和越南国家周年纪念日访问胡志明陵。
每年胡志明陵墓在10月和11月关闭进行定期维护任务。图为1970年代中后期落成不久的胡志明陵和巴亭广场。
