Fosiller, ilk balığın 460.000.000 yıl önce Ordavician Çağında ortaya çıktığını gösterir. Bu balıklar dişsiz ve ilkeldi. Ağızları, kumda gizlenen küçük hayvanları yemek için uygun ve basit boşluklardı. Ayrıca Fosil balık asalağı ve Bofa balığı 350 milyon yıl önce bulunmasına rağmen bilim adamları Conodotlardan önce evrim geçirdiklerine inanıyor.
Daha sonra dişli balıklar türedi. Dişleri değişik yiyecek kaynaklarını keşfetmelerini ve daha iyi beslenmelerini sağladı. Dişleri olan ilkel balıkların adı Plakodermdi. Zırhlı balıklar, Yalnızca fosilleriyle bilinen balık benzeri omurgalı hayvan sınıfı. Baş-boyun bölgesi birçok plakadan oluşmuş kompakt bir zırhla sarılmıştır. geri kalan vücut bölgesi çıplak ya da pulludur. Baş zırhı, göğüs zırhından bir eklemle ayrılır. Devon döneminin yaygın omurgalılarıdır. Dişler daha sonra, dişsiz balıklarda zaten olan solungaç uzantılarına dönüştüler. Solungaç uzantılan solungaçlann destekleriydi. Günümüz balıkları; köpek balıkları ve kemikli balıklar bu Plakodermler’den türemişlerdir.
Yaklaşık 20 milyon yıl sonra, şimdi soyu tükenmiş, modern balıkların ataları olan iki grubun ilk görünüşleri fosil kayıtlara 210 MYÖ girdi. Chondrichtyes ve Osteichtyes’lerin her ikisi de aynı zamanda farklı atalardan evrim geçirmiştir.
