...все материалы создаю в 3ds max, настраиваю прозрачность, глянцевость и все остальные параметры, внутри 3ds max все выглядит красиво, далее переношу в Quest3D а там у меня голый каркас без материалов...
Разумеется, материалы 3Ds Max не имеют ничего общего с материалами Quest3D. Или вы думали, что можно настроить Vray сцену, закинуть её в квест и наблюдать реалтайм отображение материалов? 
...какой тогда смысл в таком мощном редакторе материалов в 3ds max?
Чтобы можно было делать качественные рендеры в изображения или видео.Здесь на форуме нашел тему про запекание текстур в общих чертах понял, но у меня возник вопрос как анимировать такие объекты и накладывать Baking текстуры Quest3D?
Запекание текстур - довольно старая техника. Раньше, когда ещё реалтайм тени были чем-то фантастическим, тени и освещение запекали в текстуры. Плата за это была соответствующая - огромный размер текстур. Эта техника использовалась в основном для статических объектов. Сейчас же все материалы, освещение, тени на современном железе легко просчитываются в реалтайме.
В Quest3D есть визуальный язык программирования HLSL, который как раз является средством создания визуальных эффектов (тени, материалы и т.п.). Поэтому, если вы хотите в реалтайме наблюдать материал отражения, то этот эффект необходимо создать непосредственно в Quest3D на hlsl.
Насчёт зеркала - http://guest3d.wohlnet.ru/forum/index.php?topic=30.0