阿胶的起源较早，在汉代之前，没有“阿胶”之名，而以“胶”称。最初，胶的用途并非以药用为主。
据先秦文献记载，胶首先是制造弓弩的重要军事物资，因此很早就为人们所重视。胶的主要功用是粘合物品，即“胶水”之胶。
春秋战国时期，人们对胶的品种、质量的鉴别和制法已有相当多的经验。先秦典籍《周礼·考工记》记载“鹿胶青白、马胶赤白、牛胶火赤、鼠胶黑、犀胶黄”。对胶的质量鉴别提出“凡相胶，欲朱色而昔。昔也者，深瑕而泽，绘而博廉”，即鉴别胶，以色红赤、带光泽、有纹理、成团块状又具锋利的棱角者为好。对胶的熬制，要求做到“鬻胶欲孰，而水火相得”，即制胶要熬熟熬透，锅中用水以及锅下用火均要适当。
周代以前中原大地犀牛尚多时，人们曾用犀牛皮制胶，说明我国制胶历史相当久远。
