возможно ли найти оптимальную функцию оптимизацией?

как програмно такое сделать?

Просто огромный, но конкретный, или неопределенный, неизвестно что в нем? Для второго случая может использоваться нейронная сеть.

Эта задача (оптимизация функционала неизвестной формы) изучается (и решается) в разделе математики "Вариационное исчисление". Поскольку для практики вам вряд ли нужно значть явный вид искомой функции, а скорее достаточно иметь, например таблицу ее значений (или график), то для решения можно воспользоваться одним из численных методов, например т.н. "методом конечных элементов" (для справки см. Педивикию).

Другой способ, если неймется использовать именно тестер MT, - это аппроксимировать искомую функцию каким-либо конечным рядом (Тейлора, Фурье, ... любым произвольным) и оптимизировать в тестере набор коэффициентов.

Отвлеченный пример: допустим, что искомая функция приближенно описывается суммой затухающих синусоид с неизвестными амплитудой, частотой, начальной фазой и коэффициентом затухания

f(t) = A1*exp(-b1*t)*cos(w1*t+phi1) + A2*exp(-b2*t)*cos(w2*t+phi2) + A3*exp(-b3*t)*cos(w3*t+phi3)

Итого имеем набор из 12 параметров, которые можем оптимизировать как численными методами, так и тестером.