OverDoser, тогда перебирайте все возможные растровые варианты, раз быстрота на третьем месте
Дело в том, что вектризация всё равно необходима, на мой взгляд. Масштабирование - ещё куда ни шло, можно, как Вы делали в предыдущем алгоритме, привести одно изображение к масштабу другого, а вот поворот... ну разве что вращать на 360 градусов с достаточно малым шагом и (для каждого!) масштабировать, затем смотреть. Это трудно назвать эффективным и быстрым алгоритмом, тем более учитывая возможные искажения при повороте.
С вектризованным же изображением работать попроще будет. Как минимум, поворачивать/масштабировать надо будет вектора, а не пиксели, что само по себе сильно упрощает дело. Ну и затем можно накрутить массу оптимизационных улучшений. Например, если вектризация идёт до отрезков контура, то можно запоминать последовательность их длин на контуре, и сравнивать сперва именно длины (отсюда сразу с хорошей вероятностью получается масштаб). Но, опять же, всё это будет работать лишь примерно, в определённых пределах, за счёт погрешностей.