Cała zasada opiera się na prawach natury. Pompy ciepła pobierają ciepło z otoczenia budynku – z powietrza, gruntu lub wody. Temperatura zmienia się podczas zmiany stanu skupienia – parowania, gdzie następuje zmiana z cieczy na gaz, oraz skraplania – zmiany z gazu na ciecz. Cały ten proces odbywa się w sprężarce, gdzie następuje zmiana ciśnienia, a im wyższe ciśnienie, tym szybciej ciecz przechodzi w parę i odwrotnie. Poprzez sprężenie zimnej pary, jest ona ogrzewana. Aby zmienić substancję ciekłą w gaz, potrzebujemy energii z zewnątrz.
W pompie ciepła powietrze-woda jednostka zewnętrzna pobiera powietrze i prowadzi je do wymiennika ciepła. W tym samym czasie znajduje się tam ciekły czynnik chłodniczy, który jest zimniejszy od napływającego powietrza, co prowadzi do zmiany temperatury i zaczyna parować. Sprężarka pobiera czynnik chłodniczy w stanie gazowym i wykorzystuje ciśnienie do podniesienia jego temperatury. Ciepła para trafia do kondensatora, który przekazuje wyprodukowaną energię do systemu grzewczego domu. Czynnik chłodniczy jest przekształcany z powrotem w stan ciekły i cały proces powtarza się ponownie.
Łatwiej wyobrazić sobie, że dzieje się to w przypadku lodówki, która pobiera ciepło z żywności i wykorzystuje parownik do przekazania go na zewnątrz – kiedy dotykasz zewnętrznej części lodówki, robi się ona gorąca. Na podobnej zasadzie działa pompa ciepła.