Нужно ли вручную задавать порядок байтов для AIFF и AIF?
Нет. У AIFF и AIF есть заголовок, поэтому порядок байтов и параметры определяются автоматически. Варианты AIFF-C могут требовать подготовки перед воспроизведением.