构建node.js基础镜像

by Oyetoke Tobi Emmanuel

由Oyetoke Tobi Emmanuel

我如何使用Node.js构建工作抓取网络应用 (How I built a job scraping web app using Node.js)

Scraping jobs from the web has now become easier thanks to Indreed.

现在，借助Indreed，从网上抓取工作变得更加容易。

关于Indreed (About Indreed)

Indreed is a Rest API for scraping jobs from Indeed and around the web. It is powered by my personal web scraping project and layered on a rest API. Its a real Rest API and can be used from any platform using any programming language. It has support for CORs so you can use it from external web pages. Indreed supports a wide range of filters that you can use to fine tune your job results. With Indreed, you can get almost all the information you need about a job around the web. The docs can be found here.

Indreed是一个Rest API，用于从确实和网络上抓取作业。 它由我的个人Web抓取项目提供支持，并位于其他API上。 它是真正的Rest API，可以在使用任何编程语言的任何平台上使用。 它支持COR，因此您可以从外部网页使用它。 Indreed支持多种过滤器，您可以使用它们来微调您的工作结果。 使用Indreed，您几乎可以获得有关网络工作所需的所有信息。 该文档可以在这里找到。

构建Web应用 (Building the Web App)

For this tutorial, we’ll be using Node.js to build a job listing web app. The technology stack we are going to use includes:

在本教程中，我们将使用Node.js构建工作清单Web应用程序。 我们将使用的技术栈包括：

1. Axios for performing Rest API calls

   用于执行Rest API调用的Axios

2. Express for the server

   快递服务器

3. Handlebars for the template language.

   模板语言的车把 。

4. And yes, we’ll be using MDL for our UI/UX.

   是的，我们将在UI / UX中使用MDL 。

Let’s begin…

让我们开始…

Open your terminal:

打开您的终端：

mkdir jobby && cd jobbynpm init -ynpm install --save express axios express-handlebarsnpm install --save-dev nodemon

Once you’ve done that, open the created package.json file in your preferred text editor and you should see something like below:

完成此操作后，在首选的文本编辑器中打开创建的package.json文件，您将看到以下内容：

I already added a description, pointed my main to app.js, and I added keywords, my name and also nodemon for live reloading.

我已经添加了一个描述，将主要内容指向app.js ，还添加了关键字，我的名字以及用于实时重新加载的nodemon。

Now let’s setup a basic express server and the handlebars templating engine. Create app.js file in your project directory:

现在，让我们设置一个基本的Express服务器和车把模板引擎。 在您的项目目录中创建app.js文件：

Make sure you have the same folder structure like below:

确保您具有相同的文件夹结构，如下所示：

Now we need to create a index.hbsfile in the views folder that will hold our HTML:

现在我们需要在views文件夹中创建一个index.hbs文件，该文件将保存我们HTML：

To run the app, you can basically use node app.js. In case you want to use nodemon, you can do nodemon app.js.

要运行该应用程序，您基本上可以使用node app.js 如果要使用nodemon，可以执行nodemon app.js

You can now open http://localhost:5000 in your browser.

您现在可以在浏览器中打开http://localhost:5000 。

Hurray!

欢呼！

Now lets try getting jobs from the Indreed API using axios, then using handlebars to format it.

现在，让我们尝试使用axios从Indreed API中获取作业，然后使用把手对其进行格式化。

Open the app.js and update the app.get("/") :

打开app.js并更新app.get("/") ：

Then replace {{ body }} with the below:

然后，将{{ body }}替换为以下内容：

<div class="mdl-grid portfolio-max-width">{{# each jobs }}   <div class="mdl-cell mdl-card mdl-shadow--4dp portfolio-card">   <div class="mdl-card__media"></div>   <div class="mdl-card__title">   <h2 class="mdl-card__title-text">{{ this.title }}</h2>   </div>   <div class="mdl-card__supporting-text">   {{ this.summary }}   </div>   <div class="mdl-card__actions mdl-card--border">   <a class="mdl-button mdl-button--colored mdl-js-button mdl-js-   ripple-effect mdl-button--accent" href="{{ this.url }}">Read   more</a>   </div>   </div>{{/each}}</div>

Note: For this, we are only displaying title , summary and url . There is other information you can add, so check that out.

注意 ：为此，我们仅显示title ， summary和url 。 您还可以添加其他信息，因此请检查一下。

Refresh it and you will be wowed:

刷新它，您会惊叹：

Congratulations, you just built a simple job listing web app.

恭喜，您刚刚构建了一个简单的职位列表网络应用。

Let’s break down what we just built:

让我们分解一下我们刚刚构建的内容：

• We sent a GET request to the Indreed API using axios

  我们使用axios将GET请求发送到Indreed API

• this fetched the web developer job listings
  这获取了Web开发人员的工作清单
• and returned JSON data we passed into handlebars to help us loop through it
  并返回JSON数据，我们将其传递到把手中以帮助我们循环遍历它
• the results are displayed.
  结果显示出来。

Our app is just showing web developer jobs. What if we wanted to see other types of jobs? It would be silly to go change it from the code side. So what we are going to do next is create a simple form to filter job results.

我们的应用程序仅显示web developer工作。 如果我们想看到其他类型的工作该怎么办？ 从代码方面进行更改很愚蠢。 因此，我们接下来要做的是创建一个简单的表单来过滤作业结果。

Lets create a /search endpoint:

让我们创建一个/search端点：

Next, create search.hbs:

接下来，创建search.hbs ：

Let’s add some CSS though:

让我们添加一些CSS：

Next, update your homepage template with this:

接下来，使用以下命令更新您的主页模板：

Now that we are done with the templates, let’s go clean up our app.js:

现在我们已经完成了模板的工作，让我们清理一下app.js ：

That’s it, we are done.

就是这样，我们完成了。

一些建议 (Some Suggestions)

1. Location: The app detecting the user’s location is something you can add to make Indreed smarter. I’d suggest that you use Express-IP, an express middleware for getting IP information. You can use it as below:

   位置 ：您可以添加检测用户位置的应用程序，以使Indreed变得更智能。 我建议您使用Express-IP ，这是一种用于获取IP信息的快速中间件。 您可以按以下方式使用它：

req.ipInfo might return null if you are on localhost (that’s why the if statement is there).

如果您在localhost上，则req.ipInfo可能返回null(这就是if语句存在的原因)。

2. Advanced Search Results: Indreed has a variety of filters you can use to filter your job results, and we’ve only used the q and l . So you can add a form that utilizes some of the available filters:

2. 高级搜索结果 ：Indreed有多种过滤器可用于过滤您的工作结果，并且我们仅使用了q和l 。 因此，您可以添加一个利用一些可用过滤器的表单：

3. Authentication: You can add an authentication system to personalize search results for the user. With this, users can select the categories of jobs they’d like to see, and you’ll continue to suggest jobs relating to that when they log in.

3. 身份验证 ：您可以添加身份验证系统来个性化用户的搜索结果。 这样，用户可以选择他们想要查看的工作类别，并且您将在登录时继续建议与此工作相关的工作。

4. Cache: If you want to personalize search results for a user without going through Authentication, you can opt in for Cache.

4. 缓存：如果您不通过身份验证即可个性化用户的搜索结果，则可以选择使用缓存。

简短说明 (Short Note)

I am the creator of the Indreed API, and its currently in its Alpha stage. As you can see, its hosted on Heroku and still needs lot of improvement in terms of structuring, performance, speed and hosting. To make this go forward, you can contribute to the development by contacting me (oyetoketoby80[at]gmail.com) or you can also help through my patreon page. http://patreon.com/oyetoketoby

我是Indreed API的创建者，它目前处于Alpha阶段。 如您所见，它托管在Heroku上，并且在结构，性能，速度和托管方面仍需要大量改进。 为此，您可以通过与我联系(oyetoketoby80 [at] gmail.com)来为开发做出贡献，或者也可以通过我的patreon页面提供帮助。 http://patreon.com/oyetoketoby

That’s all for this article. You can get the code from here and also view the live demo: http://jobbyio.herokuapp.com.

这就是本文的全部内容。 您可以从此处获取代码，还可以观看实时演示： http : //jobbyio.herokuapp.com 。

If you enjoyed this article, kindly clap and share to others.

如果您喜欢这篇文章，请拍手并与他人分享。

翻译自: https://www.freecodecamp.org/news/how-i-built-a-job-scraping-web-app-using-node-js-and-indreed-7fbba124bbdc/

构建node.js基础镜像