Решать будем исходя из того, что выпуклый четырехугольник есть "пересечение двух противоположных углов, которые меньше развернутого"
Надо понять, как определить, что точка P лежит внутри угла ABC (который меньше развернутого, то есть "геометрический угол")
Будем рассматривать прямые как ориентированные объекты (то есть направление прямой AB задается направлением от точки A к точке B)
Тогда
\(P\in\angle ABС \) тогда и только тогда, когда
- A, P лежат по одну сторону от BC
- и C,P лежат по одну сторону от BA
Это нетрудно проверить с помощью векторного/косого произведений