Ngày 15-10-1954, sau khi quân ta tiến vào thủ đô được năm ngày, Bác bí mật vào Hà Nội và tạm dừng chân ở nhà thương Đồn Thủy (nay là Bệnh viện Trung ương quân đội 108). Lúc này việc chọn cho Bác một chỗ ở riêng được các đồng chí lãnh đạo đặt ra và trao đổi nhiều lần.
Nhưng các biệt thự đẹp, sang trọng ở dọc các phố Phan Đình Phùng, Hoàng Diệu, Nguyễn Gia Thiều, Lý Nam Đế... lần lượt có chủ mới. Đó là những cán bộ cấp cao từ chiến khu mới về.
Chọn chỗ của người thợ điện
Trong những ngày ở nhà thương Đồn Thủy, nghe báo cáo về một số dư luận không hay lắm về việc nhà cửa có liên quan đến một vài cán bộ cấp cao, Bác tâm sự với một đồng chí bên cạnh: "Người ta ai cũng muốn có nhà cao cửa rộng, vợ đẹp con khôn, ăn mặc sung sướng nhưng những cái đó dù sao cũng chỉ là nhất thời, còn tiếng xấu thì còn lại muôn đời, lưu truyền mãi mãi...".
Cuối cùng, Bộ Chính trị cũng quyết định đưa Bác về ở và làm việc tại dinh toàn quyền cũ, ngôi nhà to đẹp nhất nước lúc bấy giờ.
Ngày 15-12-1954, nhân đến thăm bộ đội diễn tập duyệt binh để chuẩn bị tham gia đón Trung ương Đảng và Chính phủ về thủ đô, Bác cùng các đồng chí giúp việc ghé vào thăm nhà mới được phân. Ai cũng nghĩ ngôi nhà này thật sự xứng đáng với Bác. Nhưng một bất ngờ đã xảy ra. Sau khi xem xét cả trong lẫn ngoài, Bác nói với các đồng chí đi cùng: "Ngôi nhà rất đẹp, không thua kém những công trình đẹp nhất ở thủ đô Paris. Các chú cần có kế hoạch quét dọn, sửa chữa để dùng vào việc khác, ví dụ như làm nơi vui chơi cho các cháu thiếu nhi chẳng hạn, còn Bác thì dứt khoát không ở đây".
Sau khi xem xét một số ngôi nhà ở khu vực xung quanh, Bác quyết định chọn chỗ ở cho mình là ngôi nhà cấp bốn của người thợ điện.
Ngày 19-12-1954, nhân kỷ niệm tám năm ngày Hà Nội nổ súng mở đầu kháng chiến toàn quốc, từ nhà thương Đồn Thủy Bác dọn đến nơi mới. Đây là căn nhà mái bằng cách nhà sàn hiện nay khoảng 100m. Nó đã bỏ không khá lâu, hình như là từ sau Hiệp định Genève được ký kết, trong đó có qui định quân Pháp phải rút khỏi Hà Nội sau ba tháng. Do đó mà quanh nhà và lối đi cây và cỏ dại đã mọc đầy.
Bộ phận văn phòng khẩn trương dọn dẹp, làm vệ sinh, nặng nhất là phải cùng nhau khiêng cái máy nổ đang nằm chềnh ềnh chính giữa nhà, dầu mỡ chảy lênh láng, đen kịt, bốc mùi rất khó chịu. Anh em bảo vệ, công vụ, văn phòng nhìn nhau ngao ngán. Bác nhìn thấy nỗi thất vọng của mọi người liền vui vẻ động viên: "Các chú chỉ cần hăng hái làm "cách mạng" trong một ngày là cải tạo xong thôi. Chúng ta sẽ có một chỗ ở đàng hoàng gấp trăm ngàn lần cán bộ và nhân dân hiện nay đang ở".
Chỉ một thời gian ngắn, cảnh vật xung quanh ngôi nhà đã thay đổi hẳn. Con đường vào nhà được rải sỏi. Bác cho trồng hai hàng dâm bụt hai bên đường. Tuy nhiên, do nhà đổ mái bằng nên mùa hè rất nóng, còn mùa đông thì lạnh giá, ánh sáng mặt trời không đủ cho Bác làm việc. Khoảng hơn 3g chiều đã phải thắp đèn. Các đồng chí lãnh đạo mỗi lần đến làm việc rất băn khoăn về nơi ở và làm việc của Bác, nhiều lần đề nghị Bác chuyển nơi khác nhưng Bác vẫn giữ ý kiến của mình. Bác nói với các đồng chí phục vụ: "Hãy nhìn nhân dân sống như thế nào để mà sống cho phù hợp. Sống phù hợp với nhân dân mới hiểu được nhân dân".
Không làm quá to, không dùng gỗ tốt
Bác thỉnh thoảng có đến thăm vài gia đình cán bộ ở những khu biệt thự to trên dưới mười phòng, trang hoàng lộng lẫy như vua chúa ngày xưa, bóng điện từ ngoài cổng cho đến trong nhà có đến vài chục ngọn. Mỗi lần đến thăm như thế, lúc ra về Bác tự nói với mình và cũng muốn cho các đồng chí phục vụ ngồi bên nghe thấy: "Trong lúc nhân dân, cán bộ còn rất nghèo khổ, khó khăn, có gia đình hàng chục nhân khẩu chen chúc trong một căn hộ hơn chục mét vuông mà họ sống trong những biệt thự như vậy mà vẫn phởn phơ, vô cảm. Thật không chịu nổi". Có lần đến thăm như thế, khi ra cửa Bác hỏi chủ nhà: "Nhà nhiều bóng đèn như thế này có hôm nào quên tắt không?".
Sau hơn bốn năm sống và làm việc ở ngôi nhà người thợ điện, sau này là "nhà 54", ngày 18-5-1958 Bác chuyển sang ở ngôi nhà sàn, cũng ở ngay trong khuôn viên Phủ chủ tịch.
Thời gian thi công nhà sàn là thời gian Bác đi công tác nước ngoài trong vòng một tháng. Trước khi đi Bác cho gọi kiến trúc sư Nguyễn Văn Ninh đến căn dặn là phải tiết kiệm, không làm quá to, không dùng gỗ tốt. Tầng dưới nhà sàn sẽ là nơi dùng để họp Bộ Chính trị và tiếp khách quí. Xung quanh làm một hàng ghế ximăng sát tường để dành cho các cháu thiếu nhi mỗi lần Bác mời vào vui chơi với Bác.
Ngôi nhà có hai tầng. Từ tầng một lên tầng hai bằng chiếc cầu thang gỗ 14 bậc. Tầng hai được ngăn làm hai phòng, mỗi phòng khoảng 9m2, một phòng làm việc, một phòng ngủ. Trong phòng làm việc có 1 bàn, 1 ghế và 1 giá sách sát tường chia làm nhiều ô để đựng tài liệu và sách báo. Phòng ngủ có một chiếc giường rộng 1,2m. Bốn góc giường cắm bốn cọc gỗ để mắc màn. Phía đầu giường có hai chiếc gối, một để gối ngủ, còn một để chồng lên gối ngủ cho đầu cao lên mỗi khi Bác đọc sách. Bên cạnh gối là chiếc quạt lá cọ. Bác bảo là để dự phòng khi mất điện hoặc khi đi ra ngoài. Hơn nữa, Bác nói thỉnh thoảng cũng cần phải cho quạt điện nghỉ để dùng được lâu.
Ngôi nhà sàn của Bác đã trở thành một di tích lịch sử quí hiếm, một tài sản tinh thần vô giá đối với các thế hệ mai sau. Thủ tướng Phạm Văn Đồng đã từng viết: "Cái nhà sàn của Bác vẻn vẹn chỉ có vài ba phòng và trong lúc tâm hồn của Bác lộng gió thời đại thì cái nhà nhỏ đó luôn luôn lộng gió và ánh sáng, phảng phất hương thơm của hoa vườn. Một đời sống như vậy thanh bạch và tao nhã biết bao".