Khổng Khâu sinh trưởng tại ấp Trâu, thôn Xương Bình, nước Lỗ[8] (nay là huyện Khúc Phụ, tỉnh Sơn Đông, Trung Hoa) cuối thời Xuân Thu. Nhiều sử ký nói rằng ông là con của một gia đình nghèo, nhưng cụ tổ ba đời vốn cũng thuộc dòng quý tộc đã sa sút từ nước Tống di cư đến nước Lỗ.
Cha ông là Khổng Hột lấy bà Nhan Chinh Tại mà sinh ra ông. Năm lên ba, Khâu mồ côi cha. Bà Nhan Chinh Tại lúc đó mới 20 tuổi không sợ khó khăn vất vả đã đưa Khổng Tử đến sống ở Khúc Phụ, thủ phủ nước Lỗ, mong ông được sống và lớn lên trong một điều kiện tốt hơn. Khi lớn lên, ông phải làm lụng vất vả để giúp đỡ mẹ, nhưng rất ham học. Ông từng nói "... Lúc nhỏ bị nghèo hèn, ta phải làm nhiều nghề nên biết được nhiều việc nhỏ mọn. Người quân tử cần biết nhiều như vậy không? Không cần biết nhiều nghề như vậy.[9]". Năm ông 16 tuổi thì mẹ qua đời, Khổng Tử từ đó sống một cuộc sống thanh bạch, hàng ngày vẫn chăm chỉ học hành, mong muốn thực hiện được ước vọng của mẹ.
