OverDoser, это область искусственного интеллекта - раз. Но об этом пока говорить рано, чувствую.
Далее, сравнивать по цветам пикселей - заведомо не лучшая идея. Большинство алгоритмов сжатия изображения с потерями, т.е. алгоритмов, которые отбрасывают "слабоощутимую" информацию, осуществляют преобразование изображения в цветовую модель
YUV. Вообще, если речь идёт об ускорении работы алгоритма со сравнением, то я бы порекомендовал именно изучить алгоритмы сжатия изображения и сравнивать результирующие коэффициенты уже после сжатия. Обратите особое внимание на
вейвлеты - полагаю, именно результаты вейвлет-преобразования Вам подойдут особенно хорошо, поскольку представляют собой уменьшенные копии рисунка. Соответственно, сравниваем грубую часть вейвлет-разложения, если сходится - то можно сравнивать более тонкие коэффициенты.
Итог: если не хотите связываться с искусственным интеллектом (хотя обращение к нему не альтернатива, а дополнение алгоритма, на самом деле), используйте методы сжатие изображения с потерями и сравнивайте их результат. Такие методы строятся на математических функциях и сколь угодно точно могут представлять исходное изображение, выделяя так или иначе "грубые" коэффициенты и "более точные" - чисто исходя из своего предназначения. Как отмечалось выше, из всех методов сжатия мне кажется лучшим применение вейвлетов в силу построения уменьшенных копий исходного изображения, а не малопонятных матриц коэффициентов.
P.S. Рекомендую книгу
"Фракталы и вейвлеты для сжатия изображений в действии", С. Уэлстид.