Путь, который проделывает PyTorch для выполнения одной функции достаточно долгий и база кода очень большая. Это затрудняет понимание библиотеки. Но общая логика достаточно простая. Если вы собираетесь разобраться в библиотеке, то я рекомендую особое внимание уделить механизму диспетчеризации. Поняв это механизм у вас не будет проблем понять как работает PyTorch.