Node.js + Redis Sorted Set实现任务队列

分享一个实用的使用Node.js和Redis Sorted Set实现任务队列的示例

当我们在处理一些涉及第三方API的数据获取时，经常面临这样的场景：API的响应是异步的，而且可能存在一段时间的处理延迟。为了满足用户的即时需求，同时避免因为API的异步处理导致的等待，我们可以采用任务队列的方式来管理这些请求。

对于需求功能A，用户发起请求时，我们的Node.js应用首先会调用第三方API获取部分数据，并立即返回给用户。我们将用户的请求加入到一个任务队列中。这里的任务队列正是通过Redis的Sorted Set来实现的。

在Redis的Sorted Set中，每个任务都可以被赋予一个唯一的分值，这个分值可以是时间戳。通过这种方式，我们可以将Sorted Set当作一个队列来使用。当一个新的任务被添加到队列中时，我们会检查这个任务是否已经存在。如果存在，则不再添加；如果不存在，则将任务添加到队列中，并赋予它一个分值。

在Node.js应用中，我们可以使用child process或者结合cron定时任务来定时检查这个队列。每当检查到一个任务的分值大于0（表示这是一个新的任务），我们就执行这个任务，调用第三方API。根据API的响应状态，我们可以决定是继续将任务留在队列中（如果状态为“正在异步处理中”），还是将任务移除并将数据存入数据库（如果状态为“已处理完毕”）。

在实现这个过程中，我们需要注意以下几个问题：

1. 如何并行执行多个任务？

我们可以使用Promise.all来并行执行多个任务，这样可以提高处理效率。

2. 如何保证任务的唯一性？

通过Redis的Sorted Set，我们可以轻松实现任务的唯一性。每次添加任务时都检查任务是否已存在，确保不会重复添加相同的任务。

3. 任务成功或失败后的处理？

当任务成功完成后，我们可以将返回的数据存入数据库。如果任务失败（例如API调用失败），我们可以选择重新将任务加入队列，或者记录错误并人工处理。

一、远程API模拟部分（remote_api.js）

```javascript

'use strict';

const express = require('express');

const app = express();

app.get('/', (req, res) => {

setTimeout(() => {

const successOrFail = Math.random() > 0.5 ? 'success' : 'fail'; // 随机模拟成功或失败的任务

res.status(200).send({ status: successOrFail }); // 返回任务结果状态

if (successOrFail === 'fail') { // 如果是失败的任务，更新任务分值并重新加入队列尾部

setTimeout(() => {

app.post('/update-task', (req, res) => { // 模拟更新任务请求处理逻辑，实际应用中需要与具体任务队列管理系统对接

const taskName = req.body.taskName; // 获取任务名称

// 更新任务分值逻辑，此处为示意代码，需要根据实际使用的任务队列管理系统进行调整

// 例如调用某个API将失败的任务重新加入队列尾部或进行相应处理

console.log(`Task ${taskName} failed, re-queue it.`);

res.send('Task updated.'); // 返回更新结果

});

}, 1000); // 延迟一段时间后模拟更新任务操作，实际情况下应根据需求设定合理的重试策略

} else { // 成功任务无需特殊处理，直接结束响应即可

console.log(`Task completed successfully.`);

}

}, 3000); // 模拟长时间运行的任务过程，实际应用中应根据需求设定合理的任务执行时间

});

app.listen(9001, () => {

console.log('API server is listening on port 9001.');

});

```

二、生产者API部分（producer.js）和任务队列管理部分（consumer.js）保持不变。只需确保在实际应用中根据实际需求调整代码逻辑和参数设置。生产者API用于接收用户请求并将任务加入任务队列，消费者定时获取任务并执行。由于具体实现逻辑较为繁琐且依赖于实际使用的任务队列管理系统和API调用方式，此处无法直接修改示例代码以适应实际环境。请根据实际情况调整代码逻辑和参数设置。