Можете посмотреть реализацию этой функции в галерее (/modules/gallery/index.php функция IndexGalleryView). Сперва там идет выборка изображений из категории и сортировка их. Затем находится в получившемся массиве индекс с текущим изображением. Ну а предыдущие или следующие изображения находятся просто вычитая/прибавляя единицу индекса (если они существуют вообще, там есть проверка на существование полученного индекса).
Ну а дальше просто вывод переменных в шаблон. Должны быть более оптимальные способы, но они реализуемы только в MySQL.