PowerShellでcurlを使いこなそう！スクレイピングなどを実例解説

PowerShell

エンジニア
テクノロジー

公開日時: 2021-02-05 　更新日時: 2022-04-26

この記事でわかること

PowerShellのcurlとは？

PowerShellはWindowsに標準搭載されているシェル機能です。シェルとはウィンドウ上でコマンドを入力することで様々なことができるアプリです。Windowsには昔からコマンドプロンプトというシェルがありますが、PowerShellはそれの機能強化版と言えます。

curlはHTTPS、FTP、POP3、SMTPなどの様々なプロトコルの通信ができるコマンドアプリです。PowerShellではこのcurlを使えます。この記事ではcurlを使ったサンプルを紹介するので是非ご覧ください。

PowerShellのcurlは本物ではない

PowerShellでcurlが使えると言いましたが、実はそれはcurlであってcurlでないと言えます。PowerShellでGet-Aliasを実行してください。すると出力の中に

Alias curl -> Invoke-WebRequest

があります。PowerShellでcurlを実行した場合、実際はInvoke-WebRequestが実行されているのです。そのため実際のcurlと違いもあります。この記事ではPowerShellでcurlと入力するという前提で進めます。

HTTPSのレスポンスを取得する

まずはHTTPSを試しましょう。PowerShellで以下のように入力してください。

curl https://www.google.com

すると以下のようにレスポンス内容が表示されます。

StatusCode : 200
StatusDescription : OK
Content :
（以下略）

ファイルの保存は以下のようにすればできます。コンソールでは出力が省略されるのでファイルに保存するとよいでしょう。

curl https://www.google.com > tmp.txt

一部のみを取得する方法

特定の部分だけ必要な場合は以下のように一旦変数に入れて、パラメータを指定します。

$response = curl https://www.google.com
$response.Headers

結果は以下のようにヘッダが表示されます。

Key Value
— —–
X-XSS-Protection 0
X-Frame-Options SAMEORIGIN
Cache-Control private, max-age=0
Content-Type text/html; charset=UTF-8
（以下略）

サーバからのエラーレスポンスを取得

存在しないURLを指定した時は、以下のようにエラーになります。

curl https://（存在しないURL）
curl : リモート名を解決できませんでした。: ‘（存在しないURL）’
（以下略）

この時、$error[0]にサーバからのエラー応答が入っています。

$error[0].Exception.Message
リモート名を解決できませんでした。: ‘（存在しないURL）’

POSTメソッドで送信する

curlはGETメソッドだけでなくPOSTメソッドでも送信できます。以下はparam1とparam2の値をPOSTでサーバに送信します。

curl -Method Post -Body ‘param1=value1&param2=value2’ http://（POSTを受け付けるURL）

受ける側は以下のようなPHPコードになっているとします。

<html>
<head>
<meta charset=”UTF-8″>
<title>Test Page</title>
</head>
<body>
<?php
echo $_POST[“param1”] . “<br />” . $_POST[“param2”];
?>
</body>
</html>

POST送信の結果

結果は以下のようになります。上のサンプルのPHPでは受け取ったparam1とparam2をechoでそのまま表示していますが、それをcurlでContentとして受け取って、キャッチボールできたことがわかります。POSTのテストをしたい時は便利に使えるでしょう。

StatusCode : 200
StatusDescription : OK
Content : <html>
<head>
<meta charset=”UTF-8″>
<title>Test Page</title>
</head>
<body>
value1<br />value2</body>
</html>

スクレイピングのサンプル

Webサイトの中身をチェックすることをスクレイピングと言いますが、curlでも行えます。以下は特定の文字列がある箇所をリストアップします。

$response = curl https://www.google.com/
$response.Links |
Where-Object {
$_.href -like “*youtube.com*”
}|
Select-Object innerText, href |
Format-List

スクレイピングのサンプルの解説

上のサンプルを説明します。まずcurlの結果を$responseに取得して、その中でhref属性にyoutube.comという文字列が含まれる箇所をWhere-Objectで抽出します。その結果からSelect-ObjectでinnterText属性とhref属性を取り出して、Format-Listで見やすくします。

実行結果は以下のようになります。YouTubeにリンクしている箇所を取り出せています。

innerText : YouTube
href : https://www.youtube.com/?gl=JP&tab=w1

FTPのサンプル

HTTPSだけでなく別のプロトコルも試してみます。FTPを実行してみましょう。PowerShellのcurlでは、ダウンロードのみ行えます。アップロードはできません。以下がサンプルです。

$username = ‘（アカウント名）’
$password = ‘（パスワード）’
$url = ‘ftp:（FTPサーバのアドレス）’

$pstr = ConvertTo-SecureString $password -AsPlainText -Force
$psc = New-Object System.Management.Automation.PSCredential($username,$pstr)

curl -Uri $url”$2f/（ダウンロードするファイルパス）” -OutFile “（保存するファイルパスとファイル名）” -Credential $psc

FTPサンプルの解説

上のサンプルを説明します。$usernameにはFTPアカウント名を入れます。$passwordはパスワード、$urlはFTPサーバのアドレスを設定します。ConvertTo-SecureStringはパスワードをセキュア文字列に変換します。

次にPSCredentialで、ユーザ名とパスワードからクレデンシャル情報の$pscを作成します。そしてcurlでダウンロードするファイル、出力先ファイル名、クレデンシャル情報を指定するとファイルをダウンロードできます。

ただしWindowsのコマンドプロンプトにはFTPコマンドがあるので、動作をもっとカスタマイズしないとcurlで行う意味はないでしょう。

PowerShellのcurlを活用しよう！

PowerShellのcurlについて解説しましたが、ご理解頂けましたでしょうか。Webサイトを解析するスクレイピングで活用できそうですが、アイデア次第で色々なことができるでしょう。

FEnetを運営しているネプラス株式会社はサービス開始から10年以上
『エンジニアの生涯価値の向上』をミッションに掲げ、
多くのインフラエンジニア・ネットワークエンジニアの就業を支援してきました。

ネプラス株式会社はこんな会社です

秋葉原オフィスにはネプラス株式会社をはじめグループのIT企業が集結！
数多くのエンジニアが集まります。

インフラ業界に特化

ネットワーク・サーバー・データベース等、ITインフラ業界に特化。Cisco Systemsプレミアパートナーをはじめ各種ベンダーのパートナー企業です。

業界を知り尽くしているからこそ大手の取引先企業、経験豊富なエンジニアに選ばれています。
正社員なのにフリーランスのような働き方

正社員の方でも希望を聞いたうえでプロジェクトをアサインさせていただいており、フリーランスのような働き方が可能。帰社日もありません。

プロジェクト終了後もすぐに次の案件をご紹介させていただきますのでご安心ください。
大手直取引の高額案件

案件のほとんどが大手SIerやエンドユーザーからの直取引のためエンジニアの皆様へに高く還元できています。

Ciscoをはじめ、Juniper、Azure、Linux、AWS等インフラに特化した常時300件以上の案件があります。
スキルアップ支援

不要なコストを削減し、その分エンジニアの方へのスキルアップ支援(ネットワーク機器貸出、合格時の受験費用支給など)や給与で還元しています。

受験費用例）CCNP,CCIE:6-20万円、JNCIS:3-4万円、AWS:1-3万円など

※業務に関連する一定の資格のみ。各種条件がありますので詳しくは担当者へにお尋ねください。
現給与を保証します！※

前職の給与保証しており、昨年度は100%の方が給与アップを実現。収入面の不安がある方でも安心して入社していただけます。

※適用にはインフラエンジニアの業務経験1年以上、等一定の条件がございます。
インセンティブ制度

ネットワーク機器の販売・レンタル事業等、売上に貢献いただいた方にはインセンティブをお支払いしています。

取引先企業とエンジニア側、双方にメリットがあり大変好評をいただいています。
社会保険・福利厚生

社員の方は、社会保険を完備。健康保険は業界内で最も評価の高い「関東ITソフトウェア健康保険組合」です。

さらに様々なサービスをお得に利用できるベネフィットステーションにも加入いただきます。
東証プライム上場企業グループ

ネプラスは東証プライム上場「株式会社夢真ビーネックスグループ」のグループ企業です。

安定した経営基盤とグループ間のスムーズな連携でコロナ禍でも安定した雇用を実現させています。

ネプラス株式会社に興味を持った方へ

ネプラス株式会社では、インフラエンジニアを募集しています。

年収をアップしたい！スキルアップしたい！大手の上流案件にチャレンジしたい！
まずは話だけでも聞いてみたい場合もOK。お気軽にご登録ください。

ネプラス株式会社へ応募する
会員登録不要! カンタン45秒!

PowerShellでcurlを使いこなそう！スクレイピングなどを実例解説