Diferença entre containers, formatos e codecs.

Container: É um arquivo que pode ter áudio, vídeo e legendas, tudo sincronizado. Não é formato de vídeo nem de áudio, é apenas o que junta eles. EX: AVI, OGM, MKV, VOB, MP4, MPG, RMVB, ETC.
Dentro de um Container podemos ter vários formatos de vídeo e áudio, claro que alguns containers oferecem algum tipo de limitação e não suportam todo tipo de vídeo e áudio.
Por exemplo, no MKV podemos colocar vídeo no formato MPEG-4 ASP feito pelo DIVx e XviD.
O MP4 não é apenas um container que suporta vários formatos de áudio e vídeo, inclusive o próprio MP3, logo não faz sentido comparar MP3 (ver MPEG-3 Layer) com MP4, pois o MP3 é um decoder de áudio e o MP4 é um container de áudio e vídeo.

Formato de vídeo: Fica dentro de um container, é o tipo de vídeo, mas não tem ligação com a extensão do vídeo (ex: avi, wmv, que são containers EX: sample.avi, sample.vob) é o tipo de compressão do vídeo, ex: MPEG-1, MPEG-2, MPEG-4, RM, etc.

Formato de áudio: São os formatos de áudio que podem ficar dentro de um container ou ser reproduzidos sozinhos como, por exemplo, o MPEG-3 layer (ver MP3), o OGG vorbis, ACC, etc.

Codec: Como o próprio nome já diz, CO é de codificar e DEC é de decodificar, a grosso modo podemos comparar com o Winzip que compacta e descompacta arquivos.
Como CODEC conhecemos o DivX, o XviD, o MP3 (que é CODEC do formato de áudio MPEG-3 Layer).

Um exemplo de fixação
Gravei um arquivo sample (vídeo)
sample.avi (avi é o container), dentro desse container tenho o formato de vídeo mpeg-2, e de áudio MPEG-3 Layer, para ler esses formatos de áudio e vídeo preciso de um software (programa) chamado CODEC que pode ser o DivX ou XViD (mais famosos) ou outro que leia esses formatos de vídeos e codec de áudio MP3.