古代质量单位和长度单位的情况相似，也有多种多样的形式。我国秦代度量衡制度中规定：1石＝4钧，1钧＝30斤，1斤＝16两。与现代国际单位制比较，1斤约合0.256千克。

最初的千克质量单位是由18世纪末法国采用的长度单位米推导出来的。1立方分米纯水在最大密度(温度约为4℃)时的质量，就定为1千克。

1799年法国在制作铂质米原器的同时，也制成了铂质千克基准，保存在巴黎档案局里。

后来发现这个基准并不准确地等于1立方分米最大密度纯水的质量，而是等于1.000028立方分米的水的质量。于是在1875年米制公约会议之后，也用含铂90%、铱10%的合金制成千克原器，一共做了三个，经与巴黎档案局保存的铂质千克原器比对，选定其中之一作为国际千克原器。这个国际千克原器被国际计量局的专家们非常仔细地保存在特殊的地点，用三层玻璃罩好，最外一层玻璃罩里抽成半真空，以防空气和杂质进入。随后又复制了四十个铂铱合金圆柱体，经过与国际千克原器比对后，分发给各会员国作为国家基准。跟米原器一样，千克原器也要进行周期性的检定，以确保质量基准的稳定可靠。