Делаем запросы в PostgreSQL из nginx кэшируя с помощью Redis

Сегодня я расскажу как можно работать с базой данных PostgreSQL с помощью nginx’a без application’a (например, PHP или любого другого). Т.е. эта технология абсолютно не зависит от языка, на котором сделан сайт/проект/система.
Мы будем использовать мощь PostgreSQL в хранимых процедурах (stored procedures/functions), а кэшировать с помощью быстрого Redis.

Для начала возьмём нашу БД PostgreSQL и создадим хранимую процедуру на языке PL/pgSQL. В принципе, вы можете обойтись и без неё, но в данном случаи SQL Injection вам обеспечен 🙂

Выберем последние 25 записей из какой-нибудь таблицы (public.sometable) и вернём это всё в формате JSON.

CREATE OR REPLACE FUNCTION __sometable_getlist() RETURNS text AS
$BODY$
DECLARE    
	data 			record;
	return_data		text			:= '';
BEGIN
	FOR data IN 
		SELECT
			id,
			title,	
			content
		FROM 
			public.sometable
		ORDER BY
			id DESC
		LIMIT
			25	
	LOOP
		return_data := return_data || row_to_json(data)::text || ',';
	END LOOP;

	RETURN '[' || rtrim( return_data, ',' ) || ']';
END;
$BODY$
LANGUAGE plpgsql VOLATILE
COST 1;

Запустить её можно так:

SELECT * FROM __sometable_getlist()

Теперь возьмём сервер с FreeBSD и добавим 5 модулей для nginx’a:

• Postgres – модуль доступа к БД PostgreSQL
• SRCache – модуль кэширования результатов
• Echo – модуль, необходимый для SRCache
• HTTP Redis – модуль Redis (необходим для SRCache)
• Redis 2 – модуль Redis версии 2.x (необходим для SRCache)

Через командную строку это выглядит так:

cd /usr/ports/www/nginx

make config && make && make install clean

После того как nginx пересоберётся, мы готовы к настройке его конфигов.

Для начала добавим 2 upstream’a (PostgreSQL и Redis) в секции http:

upstream database {
    postgres_server 
        127.0.0.1:5432
        dbname=databasename
        user=databaseuser
        password=megacoolpassword;
}

upstream redis2 {
    server 
        127.0.0.1:6379;
}

Также добавим location’ы в секцию описания нашего server, что будут читать (/redis/get) и писать (/redis/set) в Redis по ключу.

location /redis/get {
    internal;

    set		            $redis_key	$arg_key;

    redis_pass 	            redis2;
}

location /redis/set {
    internal;

    set 		    $redis_key 	$arg_key;

    redis2_query 	    select		0;
    redis2_query 	    set 		$redis_key	$echo_request_body;
    redis2_query 	    expire 		$redis_key 	60;
    redis2_pass 	    redis2;
}

Обратите внимание, что эти location’ы имеют аттрибут internal, что означает что извне по этому адресу доступиться невозможно.

Теперь, когда у нас описаны сервера и есть location’ы для чтения и записи кэша, мы можем добавить адрес, по-которому нам и нужно получать наш результат в формате JSON.

Пускай, для примера, адрес будет следующим /json/sometable/list.
Тогда в конфиг nginx’a в секцию описания нашего server мы напишем:

location /json/sometable/list {
    default_type        application/json;

    set                 $key 		"sometable_getlist";

    srcache_fetch       GET 		/redis/get 		    key=$key;
    srcache_store       PUT 		/redis/set 		    key=$key;
    srcache_store_statuses          200;

    postgres_pass   	database;
    postgres_query  	"select * from __sometable_getlist()";
    postgres_output 	text;
}

В итоге на запрошенный URL мы получим JSON-ответ, что можем далее использовать как нам будет удобно.

Теперь о скорости.
Время выполнения БД сравнивать нет смысла. Следовательно, необходимо сравнивать как быстро до клиента дойдёт ответ через связку nginx->redis и nginx->php-fpm->php-redis.

У меня связка nginx->redis “выстреливает” за 3 ms,
а nginx->php-fpm->php-redis аж за 12 ms.

Что, впрочем, ожидаемо.
На этом всё. Удачи.