A SikuliX automatizálja mindazt, amit Windows, Mac vagy Linux / Unix rendszert futtató asztali számítógép képernyőjén lát. Az OpenCV által működtetett képfelismerést használja a GUI-összetevők azonosítására, és egérrel és billentyűzettel is képes ezekre hatni.