Curl for windows post

Иллюстрация: Оля Ежак для Skillbox Media

Филолог и технарь, пишет об IT так, что поймут даже новички. Коммерческий редактор, автор технических статей для vc.ru и «Хабра».

Curl (Client URL, или «Клиентский URL») — это инструмент командной строки, предназначенный для передачи данных по различным сетевым протоколам. Он помогает разработчикам, системным администраторам и другим специалистам выполнять HTTP-запросы, загружать файлы, тестировать API и решать множество задач по отладке веб-приложений.

Давайте сразу проверим Curl в действии. Для этого откройте на своём компьютере терминал, скопируйте следующую команду и нажмите Enter:

curl https://httpbin.org/ip

После ввода команды Curl отправит GET-запрос на сервис httpbin.org, который обработает запрос и вернёт ваш текущий IP-адрес в формате JSON:

C:\Users\user>curl https://httpbin.org/ip
{
  "origin": "95.165.134.78"
}

Похожим образом Curl позволяет легко взаимодействовать с различными API и получать нужную информацию. Теперь поговорим об этом подробней.

Содержание

• Описание Curl
• Установка и запуск
• Синтаксис команд
• Использование Curl

• GET-запрос
• POST-запрос
• Скачивание файла
• Вывод заголовков
• Аутентификация
• Следование редиректам
• Загрузка файла

• Подборка ресурсов для работы с Curl

В 1997 году шведский программист Даниэль Стенберг разработал утилиту httpget — инструмент для загрузки валютных курсов через IRC-бота. Если вы хотели узнать текущий курс доллара, процесс выглядел примерно так:

• Бот подключался к сайту с актуальными курсами валют.
• Программа httpget загружала страницу и извлекала нужные данные о курсе доллара. Например, 1 USD = 30 RUB ?
• Затем она передавала эту информацию IRC-боту, который отвечал на ваш запрос в IRC-чате.

Проект привлёк внимание многих разработчиков, поскольку решал актуальную проблему того времени — загрузку данных из интернета. До появления httpget разработчикам приходилось создавать отдельные скрипты для каждого случая получения данных. Программа позволяла получить нужную информацию всего несколькими простыми командами.

Со временем проект HTTPget сменил название на Urlget, а затем на Curl. Сегодня Curl — это кросс-платформенная утилита командной строки, которая позволяет передавать или загружать данные с сервера, устанавливая подключение через различные протоколы: HTTP, HTTPS, FTP, SFTP, TFTP, SCP, Telnet, DICT, LDAP, POP3, IMAP, SMTP и другие.

Сейчас, помимо Curl, существуют и другие инструменты для работы с HTTP-запросами. Вот некоторые из популярных:

• Wget — утилита командной строки для загрузки файлов, удобная для рекурсивной загрузки и работы с FTP-протоколом.
• Postman — графический инструмент для тестирования API. Он лучше Curl подходит для сложных запросов и визуализации ответов, однако уступает в гибкости при автоматизации задач.
• HTTPie — это современный аналог Curl с упрощённым синтаксисом, цветным выводом результатов и менее широким набором функций.
• Axios — это JavaScript-библиотека для выполнения HTTP-запросов. Она удобна для веб-разработки, но ограничена средой JavaScript: Axios можно использовать только в браузерах для HTTP-запросов на стороне клиента и в Node.js для запросов на стороне сервера.

Несмотря на множество альтернатив, Curl остаётся популярным инструментом благодаря своей универсальности, широкой поддержке протоколов и кросс-платформенности. Давайте перейдём к его установке.

? Возможности Curl и других бесплатных инструментов для передачи данных: сравнительная таблица

В современных операционных системах утилита Curl обычно установлена по умолчанию. Для проверки откройте терминал и введите команду:

curl --version

Должен отобразиться номер версии и поддерживаемые протоколы:

Картинка с сайта: skillbox.ru

Если Curl не установлен, в терминале появится сообщение об ошибке:

'curl' is not recognized as an internal or external command,
operable program or batch file.

Если вы видите подобное сообщение, значит, программа Curl недоступна и её нужно загрузить. Способ установки зависит от операционной системы.

Если у вас macOS, установите менеджер пакетов Homebrew и выполните в терминале следующую команду:

brew install curl

После завершения установки проверьте версию Curl:

curl --version

Если у вас Linux, то способ установки будет зависеть от дистрибутива. Для Ubuntu или Debian выполните последовательно следующие команды:

sudo apt-get update 
sudo apt-get install curl

Для Fedora:

sudo dnf install curl

Для CentOS или RHEL:

sudo yum install curl

Для Arch Linux:

sudo pacman -S curl

После установки проверьте версию Curl командой:

curl --version

Если у вас Windows 10 или 11, откройте PowerShell или командную строку от имени администратора и установите Curl через менеджер пакетов:

winget install curl

После установки перезапустите PowerShell или командную строку и проверьте установку:

curl --version

Если у вас Windows 7, 8 или 8.1, скачайте архив с утилитой с сайта curl.se через браузер Pale Moon. Современные браузеры могут не поддерживаться устаревшими версиями Windows или блокировать загрузку по соображениям безопасности. Pale Moon — это легковесный браузер, позволяющий загружать сторонние файлы без подобных ограничений.

После загрузки распакуйте папку из архива, переименуйте её в Curl и поместите в удобное место. Например, наша папка находится по пути: C:/Program Files/Curl. Затем откройте папку Curl, перейдите в подпапку bin и скопируйте полный путь к этому каталогу:

Картинка с сайта: skillbox.ru

Не выходя из проводника, щёлкните правой кнопкой мыши по разделу Компьютер и в появившемся меню выберите пункт Свойства:

Картинка с сайта: skillbox.ru

Откроется информационное окно со сведениями о вашем компьютере. В левой панели щёлкните на пункт Дополнительные параметры системы:

Картинка с сайта: skillbox.ru

В открывшемся окне нажмите кнопку Переменные среды:

Картинка с сайта: skillbox.ru

В разделе Системные переменные найдите пункт Path, выделите его и нажмите кнопку Изменить:

Картинка с сайта: skillbox.ru

Появится окно Изменение системной переменной, в котором вам нужна строка Значение переменной. Поставьте точку с запятой в конце текущего значения и сразу после него без пробела вставьте скопированный путь к каталогу. Нажмите ОК во всех открытых окнах и перезагрузите компьютер:

Картинка с сайта: skillbox.ru

После перезагрузки откройте командную строку и выполните проверку:

curl --version

Если отобразилась версия утилиты, значит, всё правильно. Если появилось сообщение об ошибке или команда не распознана, попробуйте следующее:

• Проверьте путь к Curl в разделе Переменные среды Path — убедитесь, что вы добавили его согласно инструкции.
• Перезапустите командную строку или PowerShell.
• Если проблема сохраняется, перезагрузите компьютер ещё раз.
• Если ничего не помогло, повторите процедуру установки.

Общий синтаксис Curl-команд выглядит следующим образом:

curl [параметры] [URL]

Базовые команды можно выполнять без параметров по указанию URL-адреса. Например, с помощью следующей команды вы сможете загрузить HTML-структуру выбранного сайта в свой терминал:

# Замените example.com на адрес любого сайта
curl https://www.example.com

Хотя параметры необязательны, они позволяют точно настроить поведение Curl и расширить его функциональность. Вот несколько частых параметров:

• -O: сохраняет скачиваемый файл с его оригинальным именем;
• -o: сохраняет файл с указанным вами именем;
• -I: получает только HTTP-заголовки ответа сервера;
• -L: следует редиректам. Например, если сайт перенаправляет запрос с http://example.com на https://example.com, curl с параметром -L автоматически выполнит это перенаправление.

Параметры всегда должны располагаться перед URL и их можно комбинировать. Вот пример комбинированной команды:

curl -LO <https://example.com/file.zip>
# Эта команда следует редиректам (-L) и сохраняет файл с оригинальным именем (-O)

Для просмотра всех доступных параметров используйте команду:

curl --help all

В следующем разделе мы рассмотрим основные сценарии использования Curl и попрактикуемся применять команды с различными параметрами.

Рассмотрим команды для основных сценариев использования Curl:

• GET-запрос: curl https://example.com
• POST-запрос: curl -X POST -d «data» https://example.com
• Скачивание файла: curl -O https://example.com/file.zip
• Вывод заголовков: curl -I https://example.com
• Аутентификация: curl -u username:password https://example.com
• Следование редиректам: curl -L https://example.com
• Загрузка файла: curl -T file.txt https://example.com/upload

Для закрепления этих команд воспользуемся сервисом JSONPlaceholder. Это бесплатный онлайн REST API, предоставляющий фиктивные данные для обучения и тестирования. Данный ресурс позволяет практиковаться в работе с API без настройки собственного сервера.

Эта команда позволяет получать данные с сервера без их изменения. С её помощью вы можете просматривать содержимое ресурса, проверять доступность API или проводить отладку приложения.

Отправим GET-запрос для получения информации о посте:

curl https://jsonplaceholder.typicode.com/posts/1

В результате мы получим примерно такой JSON-объект:

{
  "userId": 1,
  "id": 1,
  "title": "sunt aut facere repellat provident occaecati excepturi optio reprehenderit",
  "body": "quia et suscipit\nsuscipit recusandae consequuntur expedita et cum\nreprehenderit molestiae ut ut quas totam\nnostrum rerum est autem sunt rem eveniet architecto"
}

В ответе содержится информация о посте: идентификатор пользователя (userId), идентификатор поста (id), заголовок (title) и содержание (body). Поскольку сервис JSONPlaceholder предоставляет фиктивные данные, содержимое вашего поста может отличаться от приведённого примера.

Эта команда применяется для передачи данных на сервер при заполнении веб-форм, отправке сообщений или создании новых записей в базе данных.

Создадим новый пост и отправим на сервер следующие JSON-данные:

{
  "title": "Заголовок поста",
  "body": "Здесь мы добавляем содержание поста",
  "userId": 1
}

Выполним Curl-команду:

curl -X POST -H "Content-Type: application/json" -d "{\"title\": \"Заголовок поста\", \"body\": \"Здесь мы добавляем содержание поста\", \"userId\": 1}" "https://jsonplaceholder.typicode.com/posts"

После обработки запроса сервер вернёт ответ, в котором содержится информация о созданном посте с его уникальным идентификатором:

{
  "title": "Заголовок поста",
  "body": "Здесь мы добавляем содержание поста",
  "userId": 1,
  "id": 101
}

Эта команда позволяет сохранить полученные данные в файл на вашем компьютере. Это удобно при работе с большими объёмами данных или когда требуется дальнейшая обработка полученной информации.

Сохраним JSON-ответ в файл post.json в нашей текущей директории:

curl -o post.json https://jsonplaceholder.typicode.com/posts/1

Результат вывода:

C:\Users\user>curl -o post.json https://jsonplaceholder.typicode.com/posts/1 % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 292 100 292 0 0 380 0 --:--:-- --:--:-- --:--:-- 382

Файл post.json сохранён в директории C:\Users\user. Вывод также содержит статистику загрузки данных:

• Общий размер файла: 292 байта.
• Процент загрузки: 100%.
• Скорость загрузки: 380 байт/с.
• Время выполнения: мгновенно (—:—:—).

Эта команда позволяет получить заголовки HTTP-ответов без тела сообщения. Это полезно для проверки статуса ответа, типа содержимого, заголовков кэширования и других метаданных с запрашиваемого ресурса.

Отправим запрос для получения HTTP-заголовков из нашего сервиса:

curl -I https://jsonplaceholder.typicode.com/posts/1

Пример ответа:

HTTP/1.1 200 OK
Date: Wed, 23 Oct 2024 07:34:44 GMT
Content-Type: application/json; charset=utf-8
Content-Length: 292
Connection: keep-alive
Report-To: {"group":"heroku-nel","max_age":3600,"endpoints":[{"url":"https://nel.heroku.com/reports?ts=1729551695&sid=e11707d5-02a7-43ef-b45e-2cf4d2036f7d&s=T06zv%2Bip6vp%2FcW6OahKqDwFYY1PQhd6eXYmDv1DMf3g%3D"}]}
Reporting-Endpoints: heroku-nel=https://nel.heroku.com/reports?ts=1729551695&sid=e11707d5-02a7-43ef-b45e-2cf4d2036f7d&s=T06zv%2Bip6vp%2FcW6OahKqDwFYY1PQhd6eXYmDv1DMf3g%3D
Nel: {"report_to":"heroku-nel","max_age":3600,"success_fraction":0.005,"failure_fraction":0.05,"response_headers":["Via"]}
X-Powered-By: Express
X-Ratelimit-Limit: 1000
X-Ratelimit-Remaining: 999
X-Ratelimit-Reset: 1729551747
Vary: Origin, Accept-Encoding
Access-Control-Allow-Credentials: true
Cache-Control: max-age=43200
Pragma: no-cache
Expires: -1
X-Content-Type-Options: nosniff
Etag: W/"124-yiKdLzqO5gfBrJFrcdJ8Yq0LGnU"
Via: 1.1 vegur
CF-Cache-Status: HIT
Age: 1983
Accept-Ranges: bytes
Server: cloudflare
CF-RAY: 8d700bdd4a385b4f-VIE
alt-svc: h3=":443"; ma=86400
server-timing: cfL4;desc="?proto=TCP&rtt=25362&sent=5&recv=6&lost=0&retrans=0&sent_bytes=3130&recv_bytes=510&delivery_rate=144240&cwnd=252&unsent_bytes=0&cid=748ae82f39ab1e32&ts=71&x=0"

Этот вывод содержит важную информацию для анализа ответов API и отладки запросов. В нём есть статус ответа (200 OK), тип содержимого (например, application/json), длина контента, а также заголовки кэширования, безопасности и ограничения скорости. Такие сведения помогают разработчикам лучше понять взаимодействие с сервером и выявить потенциальные проблемы.

Аутентификация обеспечивает доступ к частным или защищённым ресурсам. Сервис JSONPlaceholder не требует аутентификации, однако вы можете выполнить команду, демонстрирующую передачу данных при работе с защищёнными API. В нашем примере сервер вернёт список постов, а в реальном сценарии такой запрос открыл бы доступ к закрытому ресурсу:

curl -u username:password https://jsonplaceholder.typicode.com/posts

Редиректы полезны при работе с URL-адресами, которые могут перенаправлять на другие ресурсы. JSONPlaceholder не использует редиректы, поэтому команда ниже эмулирует этот процесс, позволяя Curl автоматически следовать по цепочке переадресаций сайтов. При реальном запросе вы получите конечный ресурс после различных перенаправлений:

curl -L https://jsonplaceholder.typicode.com/posts/1

Вы можете отправлять POST-запросы для передачи больших объёмов данных или заранее подготовленной информации. Создадим файл newpost.json и сразу отправим его содержимое на JSONPlaceholder.

Добавим кодировку UTF-8, чтобы избежать ошибок при отображении данных на русском языке:

chcp 65001

Создадим файл newpost.json:

echo {"title": "Загруженный пост", "body": "Содержимое поста", "userId": 1} > newpost.json
curl -X POST -H "Content-Type: application/json" -d @newpost.json https://jsonplaceholder.typicode.com/posts

Получаем ответ от сервера, подтверждающий выполнение запроса:

C:\Users\user>curl -X POST -H "Content-Type: application/json" -d @newpost.json https://jsonplaceholder.typicode.com/posts
{
  "title": "Загруженный пост",
  "body": "Содержимое поста",
  "userId": 1,
  "id": 101
}

Вы познакомились с возможностями Curl, и, если считаете, что этот инструмент может пригодиться в работе, рекомендуем следующие ресурсы:

• Everything curl — бесплатная онлайн-версия книги от создателя Curl, в которой он подробно рассказывает об устройстве технологии.
• Официальная документация с описанием всех опций и команд Curl.
• Блог Даниэля Стенберга, где он часто пишет о Curl и смежных технологиях.
• GitHub-репозиторий Curl — позволяет отслеживать разработку проекта, сообщать о проблемах и вносить свой вклад в развитие Curl.
• Curl Сookbook — сборник практических примеров использования Curl для решения различных задач.

Картинка с сайта: skillbox.ru

Научитесь: Старт в DevOps: системное администрирова­ние для начинающих
Узнать больше

curl – это инструмент командной строки для передачи данных по различным сетевым протоколам. Доступный на всех основных операционных системах, curl стал стандартным инструментом для отправки HTTP-запросов из командной строки.

Кроссплатформенная утилита curl поддерживает такие протоколы, как HTTP, HTTPS, FTP и IMAP, что позволяет легко отправлять запросы к API и парсить веб-сайты с помощью curl. Благодаря широкой доступности и поддержке множества протоколов, вы часто можете встретить ссылки на curl в документации по REST API как на быстрый способ тестирования вызовов API непосредственно из командной строки:

Картинка с сайта: ru-brightdata.com

В этой статье вы узнаете, как отправлять POST-запросы с помощью curl из командной строки.

Что такое POST-запрос

POST-запрос – это метод HTTP для отправки данных на сервер, один из самых распространенных методов HTTP.

Когда вы отправляете POST-запрос, передаваемые данные включаются в тело запроса. Это позволяет отправлять данные более скрытно, чем в URL (как в случае с GET-запросом). Вы также можете отправить значительно больше данных в POST-запросе, обходя ограничения на длину URL, накладываемые браузерами на GET-запросы.

POST-запросы часто используются для отправки форм, загрузки файлов или передачи JSON-данных в API. По сравнению с GET, POST-запросы обычно не кэшируются, и данные не отображаются в истории браузера, поскольку они содержатся в теле запроса.

Как отправить POST-запрос с помощью curl

Прежде чем приступить к этому уроку, вам необходимо установить curl на свой компьютер. Выполните следующую команду, чтобы проверить, установлен ли curl:

curl --version

Если вы получаете ошибку о том, что команда не найдена, вам нужно установить утилиту

Установите curl

Ниже приведены инструкции по установке curl на все основные операционные системы:

Windows

В Windows для установки curl можно использовать WinGet, менеджер пакетов по умолчанию в Windows 11:

winget install curl.curl

Chocolatey – это еще один менеджер пакетов для Windows, который позволяет установить curl с помощью следующей команды:

choco install curl

Linux

curl доступен в большинстве менеджеров пакетов Linux. На Ubuntu/Debian для установки curl используйте следующую команду:

apt-get install curl

Red Hat Enterprise Linux (RHEL), CentOS и Fedora позволяют установить curl с помощью Yellowdog Updater Modified (YUM), например, так:

yum install curl

Если вы используете OpenSUSE, вы можете установить curl с помощью следующей команды в терминале:

zypper install curl

Наконец, Arch Linux позволяет использовать pacman для установки curl с помощью этой команды:

pacman -Sy curl

macOS

Homebrew – это самый простой способ установить curl на macOS. Убедитесь, что у вас установлен Homebrew, а затем выполните следующую команду:

brew install curl

Теперь, когда вы установили curl на свою операционную систему, вы готовы узнать, как выполнять POST-запросы.

Выполните POST-запрос

curl позволяет указать несколько параметров при отправке POST-запросов. В следующих разделах будут показаны некоторые общие возможности curl, с которыми вы можете столкнуться при выполнении POST-запросов с помощью этой утилиты.

Укажите метод POST

При выполнении HTTP-запросов с помощью curl необходимо указать HTTP-метод, который вы хотите использовать. К HTTP-методам относятся GET, POST, PUT и DELETE. curl позволяет указать HTTP-метод, который вы хотите использовать, с помощью флага командной строки -X.

Например, чтобы отправить POST-запрос на https://httpbin.org/anything, вы можете выполнить в терминале следующую команду curl:

curl -X POST https://httpbin.org/anything

httpbin.org повторяет тело запроса и заголовки в ответе. Ваш ответ должен выглядеть следующим образом:

{
  "args": {},
  "data": "",
  "files": {},
  "form": {},
  "headers": {
    "Accept": "*/*",
    "Host": "httpbin.org",
    "User-Agent": "curl/8.1.2",
    "X-Amzn-Trace-Id": "Root=1-11111111-111111111111111111111111"
  },
  "json": null,
  "method": "POST",
  "origin": "0.0.0.0",
  "url": "https://httpbin.org/anything"
}

Флаг -X POST эквивалентен использованию флага --request POST, поэтому вы также можете выполнить следующую команду и получить тот же результат:

curl --request POST https://httpbin.org/anything

Ответ выглядит так же, как и предыдущий.

Подробнее о флагах -X и --request вы можете прочитать в официальной документации.

Установите тип содержимого

При отправке POST-запроса важно указать тип отправляемого содержимого в теле запроса, чтобы сервер мог правильно интерпретировать тело запроса. Вы можете использовать типы MIME в заголовке Content-Type в HTTP-запросе, чтобы указать формат тела запроса.

Например, если вы отправляете JSON в теле запроса, вам нужно указать веб-серверу, что он ожидает JSON-содержимое, установив в заголовке Content-Type значение application/json. Если вы отправляете XML, заголовок Content-Type должен быть application/xml. Для получения дополнительной информации ознакомьтесь с официальной документацией по Content-Type.

curl позволяет задать заголовки для HTTP-запроса с помощью флага -H. Например, если вы отправляете JSON в POST-запросе, следующая команда curl показывает, как вы можете установить заголовок Content-Type для запроса:

curl -X POST -H 'Content-Type: application/json' -d '{}' https://httpbin.org/anything

В ответе можно увидеть, что в заголовке Content-Type установлено значение application/json:

{
  "args": {},
  "data": "{}",
  "files": {},
  "form": {},
  "headers": {
    "Accept": "*/*",
    "Content-Length": "2",
    "Content-Type": "application/json",
    "Host": "httpbin.org",
    "User-Agent": "curl/8.1.2",
    "X-Amzn-Trace-Id": "Root=-11111111-111111111111111111111111"
  },
  "json": {},
  "method": "POST",
  "origin": "0.0.0.0",
  "url": "https://httpbin.org/anything"
}

Флаг -H также может быть указан с помощью более длинного флага --header. В этом случае ваша команда curl будет выглядеть следующим образом:

curl -X POST --header 'Content-Type: application/json' -d '{}' https://httpbin.org/anything

Ваш ответ будет выглядеть так же, как и предыдущий.

Отправьте данные

Вы могли заметить, что в предыдущих командах был флаг -d. Этот флаг позволяет указать данные для отправки в теле запроса. С помощью этого флага можно передать любую строку значений, заключенную в кавычки, например, так:

curl -X POST -H 'Content-Type: application/json' -d '{
    "FirstName": "Joe", 
    "LastName": "Soap" 
}' https://httpbin.org/anything

Вы заметите, что httpbin.org показывает данные тела, которые вы отправили, в свойстве data ответа.

Если у вас есть файл с данными, которые вы хотите, чтобы curl отправил в тело запроса, укажите имя файла с префиксом @. Следующая команда считывает содержимое файла body.json и отправляет его в теле запроса:

curl -X POST -H 'Content-Type: application/json' -d @body.json https://httpbin.org/anything

В этом случае файл body.json содержит следующее:

{
    "FirstName": "Joe",
    "LastName": "Soap"
}

При отправке этого сообщения httpbin.org должен вернуть следующий ответ:

{
  "args": {},
  "data": "{\t\"FirstName\": \"Joe\",\t\"LastName\": \"Soap\"}",
  "files": {},
  "form": {},
  "headers": {
    "Accept": "*/*",
    "Content-Length": "41",
    "Content-Type": "application/json",
    "Host": "httpbin.org",
    "User-Agent": "curl/8.1.2",
    "X-Amzn-Trace-Id": "Root=1-11111111-111111111111111111111111"
  },
  "json": {
    "FirstName": "Joe",
    "LastName": "Soap"
  },
  "method": "POST",
  "origin": "0.0.0.0",
  "url": "https://httpbin.org/anything"
}

Флаг--data ведет себя так же, как и -d, поэтому их можно использовать как взаимозаменяемые.

Отправьте данные в формате JSON

В предыдущем разделе вы узнали, как можно отправить JSON-данные, установив в заголовке Content-Type значение application/json, а затем передав JSON-данные с помощью флага -d. При отправке запроса также важно сообщить веб-серверу, какой формат данных вы ожидаете получить в ответ. Вы можете использовать заголовок Accept со значением application/json, чтобы сообщить веб-серверу, что вы хотите получить ответ в формате JSON.

Следующая команда отправляет запрос JSON на сервер и сообщает серверу, что вы хотите получить JSON в ответ:

curl -X POST -H 'Content-Type: application/json' -H 'Accept: application/json' -d '{
    "FirstName": "Joe",
    "LastName": "Soap"
}' https://httpbin.org/anything

Вы заметите, что свойства data и json в теле ответа содержат данные JSON, которые вы отправили в запросе:

{
  "args": {},
  "data": "{\n    \"FirstName\": \"Joe\",\n    \"LastName\": \"Soap\"\n}",
  "files": {},
  "form": {},
  "headers": {
    "Accept": "application/json",
    "Content-Length": "50",
    "Content-Type": "application/json",
    "Host": "httpbin.org",
    "User-Agent": "curl/8.1.2",
    "X-Amzn-Trace-Id": "Root=1-11111111-111111111111111111111111"
  },
  "json": {
    "FirstName": "Joe",
    "LastName": "Soap"
  },
  "method": "POST",
  "origin": "0.0.0.0",
  "url": "https://httpbin.org/anything"
}

Отправка и получение JSON-данных – обычное дело при отправке HTTP-запросов, поэтому curl предлагает флаг --json, который устанавливает для вас заголовки Content-Type и Accept и отправляет JSON-данные в теле запроса. Используя этот флаг, вы можете сократить свою команду для отправки JSON в POST-запросе:

curl -X POST --json '{
    "FirstName": "Joe",
    "LastName": "Soap"
}' https://httpbin.org/anything

Это дает тот же ответ, что и раньше:

{
  "args": {},
  "data": "{\n    \"FirstName\": \"Joe\",\n    \"LastName\": \"Soap\"\n}",
  "files": {},
  "form": {},
  "headers": {
    "Accept": "application/json",
    "Content-Length": "50",
    "Content-Type": "application/json",
    "Host": "httpbin.org",
    "User-Agent": "curl/8.1.2",
    "X-Amzn-Trace-Id": "Root=1-11111111-111111111111111111111111"
  },
  "json": {
    "FirstName": "Joe",
    "LastName": "Soap"
  },
  "method": "POST",
  "origin": "0.0.0.0",
  "url": "https://httpbin.org/anything"
}

Флаг--json был выпущен в версии 7.82 curl в марте 2022 года, поэтому перед его использованием убедитесь, что у вас установлена последняя версия curl.

Отправка XML-данных

Curl также позволяет отправлять данные в других форматах, например XML. Чтобы отправить XML-данные, необходимо установить в заголовке Content-Type значение application/xml и передать XML-данные в теле запроса с помощью флага -d. Вы также можете сообщить веб-серверу, что ожидаете получить ответ в формате XML, установив в заголовке Accept значение application/xml.

Следующая команда показывает, как можно отправить XML-объект в POST-запросе с помощью curl:

curl -X POST -H 'Content-Type: application/xml' -H 'Accept: application/xml' -d '<Person>
    <FirstName>Joe</FirstName>
    <LastName>Soap</LastName>
</Person>' https://httpbin.org/anything

Вы найдете данные XML-запроса в свойстве data, возвращаемом httpbin.org:

{
  "args": {},
  "data": "<Person>\n    <FirstName>Joe</FirstName>\n    <LastName>Soap</LastName>\n</Person>",
  "files": {},
  "form": {},
  "headers": {
    "Accept": "application/xml",
    "Content-Length": "79",
    "Content-Type": "application/xml",
    "Host": "httpbin.org",
    "User-Agent": "curl/8.1.2",
    "X-Amzn-Trace-Id": "Root=1-11111111-111111111111111111111111"
  },
  "json": null,
  "method": "POST",
  "origin": "0.0.0.0",
  "url": "https://httpbin.org/anything"
}

Отправьте данные формы

Вы можете использовать FormData для отправки пар ключ-значение данных на веб-сервер. Как следует из названия, этот формат данных используется при отправке формы на веб-странице. Пары ключ-значение содержат имя поля и значение.

curl позволяет указывать FormData с помощью флага-F или –form. При использовании этого флага укажите имя и значение поля в следующем формате: -F <name=content> or --form <name=content>.

Следующий фрагмент показывает команду curl, которая отправляет POST-запрос с использованием FormData с полями FirstName и LastName:

curl -X POST -F FirstName=Joe -F LastName=Soap https://httpbin.org/anything

Имена и значения полей формы вы найдете в свойстве form объекта ответа httpbin.org:

{
  "args": {},
  "data": "",
  "files": {},
  "form": {
    "FirstName": "Joe",
    "LastName": "Soap"
  },
  "headers": {
    "Accept": "*/*",
    "Content-Length": "248",
    "Content-Type": "multipart/form-data; boundary=------------------------e2bb56049a60b8b8",
    "Host": "httpbin.org",
    "User-Agent": "curl/8.1.2",
    "X-Amzn-Trace-Id": "Root=1-11111111-111111111111111111111111"
  },
  "json": null,
  "method": "POST",
  "origin": "0.0.0.0",
  "url": "https://httpbin.org/anything"
}

Используйте флаг -F для каждого поля, которое вы хотите отправить на сервер.

Загрузите файлы

Вы можете использовать FormData для загрузки файлов в POST-запросе, прикрепляя файл к полю. Чтобы сообщить curl о том, что поле FormData содержит файл, введите путь к файлу в значение поля с префиксом @.

Следующая команда curl загружает файл Contract.pdf в ваш рабочий каталог. Для загрузки файла команда использует поле под названием File:

curl -X POST -F [email protected] https://httpbin.org/anything

Ответ содержит весь файл, поэтому он длинный, но должен выглядеть так:

{
  "args": {},
  "data": "",
  "files": {
    "File": "..."
  },
  "form": {},
  "headers": {
    "Accept": "*/*",
    "Content-Length": "246",
    "Content-Type": "multipart/form-data; boundary=------------------------19ed1fc3be4d30c7",
    "Host": "httpbin.org",
    "User-Agent": "curl/8.1.2",
    "X-Amzn-Trace-Id": "Root=1-11111111-111111111111111111111111"
  },
  "json": null,
  "method": "POST",
  "origin": "0.0.0.0",
  "url": "https://httpbin.org/anything"
}

Отправьте учетные данные

Многие конечные точки HTTP требуют аутентификации для отправки запросов. Веб-сервер решает, какой метод аутентификации следует использовать. Одним из таких методов является базовая схема аутентификации, которая позволяет отправлять в запросе учетные данные, состоящие из имени пользователя и пароля. Затем сервер проверяет учетные данные и, если они верны, обрабатывает запрос

сurl упрощает отправку базовых учетных данных аутентификации с помощью флага -u или --user. Затем вы указываете имя пользователя и пароль, разделяя их символом : (двоеточие), например: -u <username:password>.

Следующий фрагмент использует curl для отправки POST-запроса с учетными данными пользователя и телом в формате JSON:

curl -X POST -u 'admin:password123' --json '{
    "FirstName": "Joe",
    "LastName": "Soap"
}' https://httpbin.org/anything

Обратите внимание, как curl кодирует имя пользователя и пароль и отправляет их в заголовке Authorization:

{
  "args": {},
  "data": "{\n    \"FirstName\": \"Joe\",\n    \"LastName\": \"Soap\"\n}",
  "files": {},
  "form": {},
  "headers": {
    "Accept": "application/json",
    "Authorization": "Basic YWRtaW46cGFzc3dvcmQxMjM=",
    "Content-Length": "50",
    "Content-Type": "application/json",
    "Host": "httpbin.org",
    "User-Agent": "curl/8.1.2",
    "X-Amzn-Trace-Id": "Root=1-11111111-111111111111111111111111"
  },
  "json": {
    "FirstName": "Joe",
    "LastName": "Soap"
  },
  "method": "POST",
  "origin": "0.0.0.0",
  "url": "https://httpbin.org/anything"
}

Заключение

В этой статье вы узнали, как отправлять POST-запросы с помощью утилиты командной строки curl. Вы поняли, как использовать флаг -X, чтобы указать, что вы хотите отправить POST-запрос. Вы также установили заголовки Content-Type и Accept с помощью флагов -H и ---header, чтобы веб-сервер знал, в каком формате отправляются данные. Чтобы отправить данные в теле запроса, используйте флаг -d вместе с данными, которые вы хотите отправить.

Вы также увидели несколько примеров отправки нескольких типов данных, включая JSON, XML и FormDataa, и узнали, как отправлять базовые учетные данные аутентификации в запросе с помощью флагов -u и --user.

Хотя в этой статье были показаны основные флаги, входящие в состав curl, и способы их использования, curl предлагает больше возможностей, которые вы можете изучить, включая использование переменных, отправку cookies с запросами и отправку запросов с помощью прокси. Многие языки программирования также предоставляют библиотеки, позволяющие работать с curl из этого языка, включая Python, Node.js и Rust.

Ищете решение для скрапинга? Поговорите с одним из наших экспертов по данным и узнайте, какой из наших продуктов лучше всего подходит для ваших потребностей.

Кредитная карта не требуется

Время на прочтение9 мин

Количество просмотров223K

Картинка с сайта: habr.com

Curl (client URL) — это инструмент командной строки на основе библиотеки libcurl для передачи данных с сервера и на сервер при помощи различных протоколов, в том числе HTTP, HTTPS, FTP, FTPS, IMAP, IMAPS, POP3, POP3S, SMTP и SMTPS. Он очень популярен в сфере автоматизации и скриптов благодаря широкому диапазону функций и поддерживаемых протоколов. В этой статье мы расскажем, как использовать curl в Windows на различных примерах.

▍ Установка в Windows

Во всех современных версиях Windows, начиная с Windows 10 (версия 1803) и Server 2019, исполняемый файл curl поставляется в комплекте, поэтому ручная установка не требуется. Чтобы определить местоположение curl и его версию в системе, можно использовать следующие команды:

where curl
curl --version

Картинка с сайта: habr.com

Определение местоположения и версии curl в Windows

Команда curl —version также выводит список протоколов и функций, поддерживаемых текущей версией curl. Как видно из показанного выше скриншота, к использованию встроенной утилиты curl всё готово. Если вместо этого отображается сообщение об ошибке, curl может быть недоступен потому, что вы используете более раннюю версию Windows (например, Windows 8.1 или Server 2016). В таком случае вам потребуется установить curl в Windows вручную.

▍ Синтаксис curl

Команда curl использует следующий синтаксис:

curl [options...] [url]

Инструмент поддерживает различные опции, которые мы рассмотрим ниже. Как и в любом инструменте командной строки, вы можете использовать для получения справки команду curl —help.

Картинка с сайта: habr.com

Получение справки при помощи команды curl

Для получения подробной справки можно использовать команду curl —help all. Справка разделена на категории, поэтому при помощи curl —help category можно просмотреть все темы.

Ознакомившись с синтаксисом curl, давайте рассмотрим различные способы применения этого инструмента на примерах.

▍ HTTP-запрос GET

При использовании curl с URL и без указания опций запрос по умолчанию использует метод GET протокола HTTP. Попробуйте выполнить такую команду:

curl https://4sysops.com

Приведённая выше команда по сути эквивалентна curl —request GET 4sysops.com, отправляющей запрос GET к 4sysops.com по протоколу HTTPS. Чтобы указать версию протокола HTTP (например, http/2), используйте опцию —http2:

curl --http2 https://4sysops.com

В случае URL, начинающихся с HTTPS, curl сначала пытается установить соединение http/2 и автоматически откатывается к http/1.1, если это не удаётся. Также он поддерживает другие методы, например, HEAD, POST, PUT и DELETE. Для использования этих методов вместе с командой curl нужно указать опцию —request (или -X), за которой следует указание метода. Стоит заметить, что список доступных методов зависит от используемого протокола.

▍ Получение информации об удалённом файле

Если вы администратор, то иногда вам могут быть интересны только заголовки HTTP. Их можно получить при помощи опции —head (или -I). Иногда URL может перенаправлять пользователя в другую точку. В таком случае опция —location (или -L) позволяет curl выполнять перенаправления. Также можно использовать —insecure (или -k), чтобы разрешить незащищённые подключения и избежать ошибок с сертификатом TLS в случае, если целевой URL использует самоподписанный сертификат. Пользуйтесь этой опцией только при абсолютной необходимости. Все эти три опции можно скомбинировать в одну краткую запись, как показано в следующей команде:

curl -kIL 4sysops.com

Картинка с сайта: habr.com

Опции просмотра заголовков запросов, включения незащищённого соединения и использования перенаправлений

Как можно заметить, такая краткая запись особенно полезна для комбинирования нескольких опций. Приведённая выше команда по сути эквивалентна команде curl —insecure —head —location 4sysops.com.

Опция —head (или -I) также даёт основную информацию об удалённом файле без его скачивания. Как показано на скриншоте ниже, при использовании curl с URL удалённого файла он отображает различные заголовки, дающие информацию об удалённом файле.

curl -IL https://curl.se/windows/dl-7.85.0_5/curl-7.85.0_5-win64-mingw.zip

Картинка с сайта: habr.com

Использование curl для просмотра основной информации удалённых файлов

Заголовок Content-Length обозначает размер файла (в байтах), Content-Type сообщает о типе медиафайла (например, image/png, text/html), Server обозначает тип серверного приложения (Apache, Gunicorn и так далее), Last-Modified показывает дату последнего изменения файла на сервере, а заголовок Accept-Ranges обозначает поддержку частичных запросов для скачивания от клиента, что по сути определяет возможность продолжения прерванной загрузки.

▍ Скачивание файла

Для скачивания файла и сохранения с тем же именем, что и на сервере, можно использовать curl с опцией —remote-name (или -O). Показанная ниже команда скачивает последнюю версию curl для Windows с официального сайта:

curl -OL https://curl.se/windows/latest.cgi?p=win64-mingw.zip

Картинка с сайта: habr.com

Скачивание файла с именем по умолчанию и индикатором прогресса

При необходимости для нахождения ресурса добавляется опция -L, разрешающая перенаправления. Если нужно сохранить файл с новым именем, используйте опцию —output (или -o). Кроме того, при использовании команды curl в скрипте может понадобиться отключить индикатор прогресса, что можно сделать при помощи опции —silent (или -s). Эти две опции можно скомбинировать:

curl -sLo curl.zip https://curl.se/windows/latest.cgi?p=win64-mingw.zip

Картинка с сайта: habr.com

Скачивание файла без индикатора и сохранение под произвольным именем

▍ Продолжение прерванного скачивания

Наличие Accept-Ranges: bytes в заголовке ответа в буквальном смысле обозначает, что сервер поддерживает скачивания с возможностью продолжения. Чтобы продолжить прерванное скачивание, можно использовать опцию —continue-at (или -C), получающую смещение (в байтах). Обычно указывать смещение непросто, поэтому curl предоставляет простой способ продолжения прерванной загрузки:

curl -OLC - https://releases.ubuntu.com/22.04/ubuntu-22.04.1-desktop-amd64.iso

Картинка с сайта: habr.com

Продолжение прерванного скачивания

Как видно из скриншота, я скачивал iso-файл Ubuntu, но скачивание было прервано. Затем я снова запустил команду curl с опцией -C, и передача продолжилась с того диапазона байтов, на котором была прервана. Знак минус (—) рядом с -C позволяет curl автоматически определить, как и где продолжить прерванное скачивание.

▍ Аутентификация с Curl

Также Curl поддерживает аутентификацию, что позволяет скачать защищённый файл, предоставив учётные данные при помощи опции —user (or -u), принимающей имя пользователя и пароль в формате username:password. Если не вводить пароль, curl попросит ввести его в режиме no-echo.

curl -u surender -OL https://techtutsonline.com/secretFiles/sample.zip

Картинка с сайта: habr.com

Скачивание файла с аутентификацией по имени пользователя и паролю

Если вы используете Basic authentication, то необходимо передать имя пользователя и пароль, а значит, воспользоваться защищённым протоколом наподобие HTTPS (вместо HTTP) или FTPS (вместо FTP). Если по каким-то причинам приходится использовать протокол без шифрования, то убедитесь, что вы используете способ аутентификации, не передающий учётные данные в виде простого текста (например, аутентификацию Digest, NTLM или Negotiate).

Также curl поддерживает использование файлов конфигурации .curlrc, _curlrc и .netrc, позволяющих задавать различные опции curl в файле, а затем добавлять файл в команду при помощи опции curl —config (или curl -K), что особенно полезно при написании скриптов.

▍ Выгрузка файла

Опция —upload-file (или -T) позволяет выгружать локальный файл на удалённый сервер. Показанная ниже команда выгружает файл из локальной системы на удалённый веб-сервер по протоколу FTPS:

curl -kT C:\Users\Surender\Downloads\sample1.zip -u testlab\surender ftps://192.168.0.80/awesomewebsite.com/files/

Картинка с сайта: habr.com

Выгрузка файла на удалённый сервер

Опция -k добавляется для устранения проблем с сертификатами на случай, если веб-сервер использует самоподписанный сертификат. Наклонная черта в конце URL сообщает curl, что конечная точка является папкой. Можно указать несколько имён файлов, например «{sample1.zip,sample2.zip}». Ниже показано, как с помощью одной команды curl можно выгрузить на сервер несколько файлов:

curl -kT sample[1-5].zip -u testlab\surender ftps://192.168.0.80/awesomewebsite.com/files/

Картинка с сайта: habr.com

Выгрузка нескольких файлов на сервер

▍ Последовательность команд

Как говорилось ранее, curl поддерживает различные методы в зависимости от используемого протокола. Дополнительные команды можно отправлять при помощи —quote (или -Q) для выполнения операции до или после обычной операции curl. Например, можно скачать файл с удалённого сервера по протоколу FTPS и удалить файл с сервера после успешного скачивания. Для этого нужно выполнить следующую команду:

curl -u testlab\surender -kO "ftps://192.168.0.80/awesomewebsite.com/files/sample1.zip" -Q "-DELE sample1.zip"

Картинка с сайта: habr.com

Удаление файла после успешного скачивания

В показанном выше примере я скачал файл sample1.zip с FTPS-сервера при помощи опции -O. После опции -Q я добавил минус (-) перед командой DELE, что заставляет curl отправить команду DELE sample1.zip сразу после успешного скачивания файла. Аналогично, если вы хотите отправить команду на сервер до выполнения операции curl, используйте плюс (+) вместо минуса.

▍ Изменение user-agent

Информация user-agent сообщает серверу тип клиента, отправляющего запрос. При отправке запроса curl на сервер по умолчанию используется user-agent curl/<version>. Если сервер настроен так, чтобы блокировать запросы curl, можно задать собственный user-agent при помощи опции —user-agent (или -A). Показанная ниже команда отправляет стандартный user-agent Google Chrome:

curl -kIA "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0" https://awesomewebsite.com/files/secretFile.zip

Картинка с сайта: habr.com

Использование собственного user-agent с командой curl, чтобы избежать блокировки сервером

На показанном выше скриншоте видно, что обычный запрос curl был отклонён веб-сервером (с ответом 403 Forbidden), но при передаче другого user-agent запрос выполняется успешно, возвращая ответ 200 OK.

▍ Отправка куки

По умолчанию запрос curl не отправляет и не сохраняет куки. Для записи куки можно использовать опцию —cookie-jar (или -c), а отправить куки можно опцией —cookie (or -b):

curl -c /path/cookie_file https://awesomewebsite.com/
curl -b /path/cookie_file https://awesomewebsite.com/

Первая команда записывает файл куки, а вторая отправляет куки с запросом curl. Также можно отправить куки в формате ‘name = value’:

curl -b 'session=abcxyz' -b 'loggedin=true' http://echo.hoppscotch.io

Картинка с сайта: habr.com

Отправка нескольких куки командой curl

Я воспользовался веб-сайтом echo.hoppscotch.io для демонстрации заголовков HTTP-запросов, которые обычно невидимы клиентам, отправляющим запрос. Если вы не хотите пользоваться этим веб-сайтом, то можете применить опцию –verbose (или -v) для отображения запроса в сыром виде (который отображает и заголовки запросов).

▍ Использование прокси-сервера

Если вы пользуетесь прокси-сервером для подключения к интернету, в curl можно указать прокси опцией —proxy (или -x). Если прокси-сервер требует аутентификации, то добавьте —proxy-user (или -U):

curl -x 192.168.0.250:8088 -U username:password https://awesomewebsite.com/

Прокси-сервер указывается в формате server:port, а пользователь прокси — в формате username:password. Можно не вводить пароль пользователя прокси, тогда curl попросит ввести его в режиме no-echo.

Картинка с сайта: habr.com

Использование прокси-сервера и аутентификации

▍ Дополнительные заголовки запросов

Иногда вместе с запросом к серверу необходимо отправить дополнительную информацию. В curl это можно сделать при помощи —header (или -H), как показано в следующей команде:

curl -vkIH "x-client-os: Windows 11 Enterprise (x64)" https://awesomewebsite.com

Картинка с сайта: habr.com

Указание дополнительных заголовков для запроса curl

Можно отправлять любую информацию, недоступную через стандартные заголовки HTTP-запросов. В этом примере я отправил название своей операционной системы. Также я добавил опцию -v для включения verbose-вывода, отображающего дополнительный заголовок, отправляемый вместе с каждым моим запросом curl.

▍ Отправка электронного письма

Так как curl поддерживает протокол SMTP, его можно использовать для отправки электронного письма. Показанная ниже команда позволяет отправить электронное письмо при помощи curl:

curl --insecure --ssl-reqd smtps://mail.yourdomain.com –-mail-from sender@yourdomain.com –-mail-rcpt receiver@company.com --user sender@yourdomain.com --upload-file email_msg.txt

Картинка с сайта: habr.com

Отправка электронного письма командой curl

Давайте вкратце перечислим использованные здесь опции:

• Опция —insecure (или -k) используется, чтобы избежать ошибки сертификата SSL. Мы уже применяли её ранее.
• Опция —ssl-reql используется для апгрейда соединения передачи простого текста до зашифрованного соединения, если оно поддерживается SMTP-сервером. Если вы уверены, что ваш SMTP-сервер поддерживает SSL, то можно использовать непосредственно имя сервера smtps (например, smtps://smtp.yourdomain.com), как показано на скриншоте.
• Опция —mail-from используется для указания адреса электронной почты отправителя.
• Опция mail-rcpt указывает адрес электронной почты получателя.
• Опция —user (или -u) отправляет имя пользователя для аутентификации, оно должно совпадать с адресом mail-from, потому что в противном случае письмо может быть отклонено или помечено как спам.
• Опция —upload-file (или -T) используется для указания файла, в котором находится отправляемое письмо.

На скриншоте ниже показано письмо, полученное мной во входящие:

Картинка с сайта: habr.com

Просмотр письма, отправленного с помощью curl

Это всего лишь несколько примеров использования curl — на самом деле их гораздо больше. Я настоятельно рекомендую проверить справку по curl и поэкспериментировать с ней.

А вы используете curl? И если да, то для чего?

Telegram-канал с полезностями и уютный чат

Картинка с сайта: habr.com

Maybe you’ve heard of this command line tool but have always wondered: What is a cURLing?  Born out of a project in 1996 by Daniel Stenberg, cURL (Client for URLs) is a versatile command-line tool for transferring data across a wide array of protocols. It allows developers to test, debug, and interact with APIs. Whether you’re pulling down a webpage, sending an email, or interacting with a REST API, a cURL POST request can help you get the job done.

Despite its complex exterior, at its core, cURL works by sending HTTP requests to servers and receiving responses. These interactions, coded in the common language of the web — HTTP — are an essential part of cURL’s functionality. The tool supports many HTTP methods, including GET, POST, PUT, and DELETE, among others.

In web development, a cURL POST request is particularly important. Unlike a GET request, which retrieves data, a cURL POST request sends data to a server, a fundamental mechanism that powers interactivity on the web. From submitting form data and uploading files to creating new resources, cURL POST requests are at the heart of client-server communication.

CURL POST requests open the gateway to complex applications, allowing for user personalization, dynamic content, and secure data transmission. These capabilities form the bedrock of the modern web, enabling applications from simple blogs to complex single-page applications and intricate web services.

Using a cURL POST request in APIs is an integral part of web development, allowing services to communicate with each other, exchange data, and create powerful, interconnected systems. In an age where APIs form the backbone of many services, understanding POST requests is a necessary skill for developers.

Using cURL POST requests adds a versatile tool to a developer’s toolkit, powering the seamless interactions and data exchanges that define the modern web experience. By understanding these technologies, you can not only create rich, interactive web applications but also harness the true power of APIs, opening up a world of possibilities for data exchange and service integration. This guide will tell you everything you need to know about how to make a cURL POST request.

Getting Started with cURL Post Requests

Картинка с сайта: rayobyte.com

Before you can execute a cURL POST request, you need to install cURL. The process of installing cURL differs slightly depending on the operating system you’re using. For most Linux and Unix-based systems, cURL is often pre-installed. To confirm its presence, open a terminal window and type curl –version. If cURL is installed, this command will display the version number and other relevant information.

For macOS users, cURL is also usually pre-installed. However, if you need to install it, you can use the Homebrew package manager. If you don’t have Homebrew installed, you can install it by running the following command in your terminal:

/bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)”

Once you have Homebrew, you can install cURL by running brew install curl.

For Windows users, cURL comes pre-installed with Windows 10 version 1803 and later. For earlier versions, you can download cURL from the official website and follow the instructions provided. Another alternative is to install it via a package manager like Chocolatey, with the command choco install curl.

Basic Syntax and Usage of cURL Commands

The fundamental syntax for cURL is curl [options] [URL]. The URL is the address you want to send a cURL POST request to, and the options are flags that control the behavior of the request. For instance, to send a GET request to a website, you would simply type curl https://example.com.

By default, cURL uses the GET HTTP method, which retrieves information from the server. To use other methods like POST, PUT, or DELETE, you’ll need to specify them with an option flag. For instance, to send a cURL POST request, you would use the -X or –request flag followed by POST, like so:

curl -X POST https://example.com.

Another common option is -d or –data, used to include data in a cURL POST request. This could look like:

curl -d “username=user&password=pass” -X POST https://example.com/login

This example sends a cURL POST request with data (username and password) to the URL.

Understanding HTTP Requests

Картинка с сайта: rayobyte.com

Hypertext Transfer Protocol (HTTP) requests are the primary means of communication between clients and servers. These requests follow a set structure and can be categorized into several types, most commonly being GET, POST, PUT, and DELETE.

GET requests are used to retrieve data from a server. When you type a URL into your browser, you send a GET request to the server to fetch and display the web page. In the context of APIs, GET requests are used to retrieve resources.

CURL POST requests, on the other hand, are used to send data to a server. This could be in the form of form data, JSON objects, or files. These cURL POST requests are essential when you need to create new resources or submit data to a server.

PUT requests are used to update existing resources on a server, while DELETE requests, as the name suggests, are used to remove resources.

Each HTTP request comprises headers and a body. The headers contain metadata about the request, like the content type or authentication tokens. The body contains the actual data being sent in the case of POST and PUT requests.

You’ll need to understand HTTP requests to use cURL, as it provides the basis for constructing requests and understanding server responses. CURL is a tool to make these HTTP requests outside a browser context, making it a valuable asset in testing and developing web applications.

Understanding POST Requests

A cURL POST request is a type of HTTP request method used by clients to send data to a server. The data is included in the body of the request and is typically used to create new resources, submit data to a server, or trigger certain actions. Examples of cURL POST requests in action include submitting a web form, uploading a file, or creating a new user in a database. Unlike GET requests, POST requests can send large amounts of data and do not leave a record in the browser history, making them more secure for sensitive data transmission.

Difference between GET and POST Requests

GET and POST are the two most commonly used HTTP request methods. The primary difference lies in their purpose and how they handle data. A GET request is used to retrieve data from a server, and it appends data to the URL in the form of query parameters. On the other hand, a cURL POST request is used to send data to a server, and it includes the data in the body of the request, making it suitable for sending large and sensitive data.

The Anatomy of a cURL POST Request

Картинка с сайта: rayobyte.com

A cURL POST request consists of several key components: the request method, URL, headers, and the body. The request method for a cURL POST request is, of course, “POST”. The URL is the address to which the request is sent. The headers provide metadata about the request, such as the content type or authentication tokens. Lastly, the body contains the data being sent to the server.

The data in a cURL POST request body can be in various formats, including plain text, JSON, XML, or form data. The “Content-Type” header is particularly important in a cURL POST request because it tells the server what format the data is in, allowing it to interpret the data correctly.

Request Headers

Request headers are part of the HTTP request that provide metadata about the request. They define aspects such as the content type, the character set, acceptable response types, authorization information, and more. Headers are crucial in controlling how a cURL POST request or response should be handled. For instance, the “Content-Type” header tells the server the media type of the body, while the “Authorization” header is used to authenticate a user.

Request Body

The cURL request body is part of an HTTP request where data is stored that needs to be sent to the server. In a cURL POST request, this is typically where the data to create a new resource is placed. The data can take many forms, including form data, JSON, or XML, and the server uses the “Content-Type” header to interpret the body correctly.

Request URL

The request URL is the address to which the HTTP request is sent. For a cURL POST request, this URL typically corresponds to the server or API endpoint that will handle the creation of the new resource or process the provided data. It is important to note that, unlike GET requests, cURL POST request parameters are not included in the URL, enhancing the security of data transmission.

Executing a Simple cURL POST Request

Картинка с сайта: rayobyte.com

Executing a cURL send POST request involves using the -d or –data option, which allows you to specify the data you want to send to the server. For example, if you want to send a JSON object to a server, you could use the following command:

curl -X POST -H “Content-Type: application/json” -d ‘{“username”:”user”,”password”:”pass”}’ https://example.com/login

In this example, -X POST specifies the HTTP method. -H “Content-Type: application/json” sets the header to tell the server that we’re sending JSON data. The -d flag followed by the data in single quotes is the actual data we’re sending. The URL at the end is the endpoint where we’re sending the data. When sending JSON data, the JSON must be properly formatted, with names and string values in double quotes.

After executing this command, cURL will send the cURL POST request to the specified URL and then output the response from the server. This response will help you understand whether the cURL POST request was successful or if there were any issues.

Common Response Codes and What They Mean

Картинка с сайта: rayobyte.com

Response codes, also known as HTTP status codes, are three-digit numbers returned by servers to indicate the status of a web element. Here are some common ones you might encounter with a POST request cURL:

• 2xx – Success: These codes indicate that the request was successfully received, understood, and accepted. The most common is 200 (OK), which signifies that the request was successful and the response contains the requested data.
• 3xx – Redirection: These codes mean that the client must take additional action to complete the request. 301 (Moved Permanently) is a common one, indicating that the URL of the requested resource has been changed permanently.
• 4xx – Client Errors: These signify that there was an error in the request made by the client. A common code is 404 (Not Found), meaning the server couldn’t find the requested resource. Another is 400 (Bad Request), indicating that the server couldn’t understand the request due to invalid syntax.
• 5xx – Server Errors: These indicate that the server failed to fulfill valid request. The most common is 500 (Internal Server Error), meaning that an unexpected condition was encountered and no more specific message is suitable.

Advanced cURL Options for POST Requests

Картинка с сайта: rayobyte.com

Once you understand the basics of how to cURL a POST request, you can try out some advanced techniques.

Customizing Headers

Customizing headers in a cURL POST request is essential for controlling the specifics of the request and the subsequent response. Headers allow you to set the content type, handle caching, authorization, and more.

To customize headers with cURL, you use the -H or –header option, followed by the header you want to set, in the format Header-Name: Header-Value. For instance, if you’re sending a POST request with JSON data, you’d need to set the “Content-Type” header to “application/json” to let the server know to expect JSON data:

curl -X POST -H “Content-Type: application/json” -d ‘{“key”:”value”}’ https://example.com

In this command, -H “Content-Type: application/json” sets the header.

Headers are also used for authorization. For example, you might use the “Authorization” header to include a token or credentials with your request:

curl -H “Authorization: Bearer YOUR_TOKEN” https://example.com

Multiple headers can be included by specifying -H before each one:

curl -H “Content-Type: application/json” -H “Authorization: Bearer YOUR_TOKEN” https://example.com

Customizing headers gives you more control over your HTTP requests and responses. It allows you to define the type of data being sent, provide authorization, control caching, and more. Understanding and using headers effectively can improve your interactions with web servers and APIs.

Sending Data in Different Formats

When sending data to a server using cURL POST requests, two of the most commonly used formats are JSON and form data. The choice between these two often depends on the requirements of the API or web server you’re interacting with.

JSON Data

JSON, short for JavaScript Object Notation, is a popular data interchange format due to its simplicity and compatibility with many programming languages. It’s particularly common when working with REST APIs.

To send JSON data using cURL, you need to set the “Content-Type” header to “application/json” and then include your data as a JSON-formatted string. The data must be properly formatted according to JSON syntax rules: property names and string values must be enclosed in double quotes, and each key-value pair must be separated by a comma.

Here’s an example of sending JSON data:

curl -X POST -H “Content-Type: application/json” -d ‘{“username”:”myuser”,”password”:”mypassword”}’ https://example.com/login

Form Data

Form data is the other commonly used format for sending data in POST requests. This format mimics the way a web browser sends data when a user submits a form and is often used when interacting with web pages and older APIs.

To send form data using cURL, you need to set the “Content-Type” header to “application/x-www-form-urlencoded”. Then, your data should be included as key-value pairs separated by an equal sign, with different pairs separated by an ampersand. Unlike JSON, form data does not require keys or values to be enclosed in quotes.

Here’s an example of sending form data:

curl -X POST -H “Content-Type: application/x-www-form-urlencoded” -d “username=myuser&password=mypassword” https://example.com/login

It’s worth mentioning that cURL can also handle multipart form data, often used for file uploads. To send a file, you need to precede the file path with an @ symbol. For instance:

curl -X POST -H “Content-Type: multipart/form-data” -F “file=@/path/to/myfile.txt” https://example.com/upload

In this command, -F is used instead of -d, which ensures the content type is set correctly for multipart form data.

Whether you’re sending JSON or form data, you need to know the expectations of the server or API you’re interacting with. Always check the documentation to determine if you’re using the correct data format, as this can prevent errors and ensure smooth data exchange.

Handling Redirects

HTTP redirects are server responses that inform the client that the requested resource resides at a different URL. This is commonly used when a webpage has moved to a new address and the server wants to guide the client to the new location. The status codes for these types of responses are in the 3xx range, with 301 (Moved Permanently) and 302 (Found, or Moved Temporarily) being the most common.

By default, cURL does not follow redirects. That is, if you make a request to a URL that returns a redirect response, cURL will display the redirect message, but it won’t automatically request the new URL provided in the Location response header.

If you want cURL to follow the redirect and automatically request the new URL, you can include the -L or –location option in your cURL command:

curl -L https://example.com

In this example, if https://example.com returns a 301 or 302 status code with a Location header pointing to a new URL, cURL will automatically send a new cURL POST request to that URL. However, automatically following redirects can sometimes pose security risks, especially when dealing with untrusted sources, so use the -L option judiciously.

Using Cookies and Sessions

Cookies are used to maintain state information between the server and the client across multiple requests. They are often used for tracking user sessions, personalization, and various other tasks. Cookies set by the server are sent back and forth in the headers of HTTP requests and responses.

In cURL, you can use the -b or –cookie option to send cookies with your request. For example:

curl -b “name=value” https://example.com

This command sends a cookie named “name” with the value “value” to https://example.com.

Sessions, which are used to persist user data across multiple requests, are typically managed with cookies. The server will often send a “Set-Cookie” header with a session ID, and the client should send back this session ID with each subsequent request to maintain the session.

To maintain sessions with cURL, you can use the -c or –cookie-jar option to save cookies after a request, and -b to send them with subsequent requests. For instance:

curl -c cookies.txt https://example.com

curl -b cookies.txt https://example.com

The first command saves any “Set-Cookie” headers from https://example.com to cookies.txt. The second command sends the cookies from cookies.txt with the request to https://example.com.

Dealing with Authentication

Authentication is a critical aspect of web development, as it verifies the identity of users and ensures that only authorized individuals can access certain resources. cURL supports several methods of authentication, making it a versatile tool for interacting with different APIs or web servers.

Basic Authentication

Basic Authentication is a simple method where the username and password are concatenated with a colon (username:password), base64-encoded, and sent in the “Authorization” header. To use Basic Authentication with cURL, you can use the -u or –user option, followed by the username and password separated by a colon:

curl -u username:password https://example.com

Bearer Tokens

Bearer tokens, commonly used in OAuth 2.0 and JWT (JSON Web Tokens), are another authentication method. The token is sent in the “Authorization” header with the format “Bearer: token”. To use a bearer token with cURL, you can set it using the -H or –header option:

curl -H “Authorization: Bearer your-token” https://example.com

Cookies

Cookies can also be used for authentication. When you log in to a website, the server usually sets a cookie with a session ID or similar identifier. Subsequent requests to the server include the cookie, which the server uses to identify the client.

curl -b “sessionid=your-session-id” https://example.com

In any authentication scenario, it’s critical to secure sensitive information like passwords and tokens, so always use secure connections (HTTPS) when sending this information.

Troubleshooting and Debugging a cURL Post Request

Картинка с сайта: rayobyte.com

As with all aspects of development, understanding what can go wrong with a cURL POST request can help you figure out how to fix a bad cURL POST bad request.

Common Errors and Solutions

When working with cURL, you may encounter several common errors. Here are some, along with their solutions:

• Could not resolve host: This error occurs when the specified server cannot be found. This could be due to a typo in the URL, network issues, or DNS resolution problems. Check the URL you’re using and your network connection.
• Failed to connect to host: This error typically indicates a network or firewall issue. It means cURL can’t establish a TCP connection to the server. Ensure the server is running, the port is correct, and any firewalls are configured to allow the connection.
• SSL certificate problem: This error means that cURL can’t verify the SSL certificate of the server. If you’re testing locally or in a trusted environment, you can bypass this by adding -k or –insecure to your cURL command. However, for production usage, you should resolve the certificate issue or use a server with a valid certificate.
• Empty reply from server: This typically means the server accepted the connection but didn’t send a response. Check the server logs for any issues and ensure the server is configured to respond to the type of request you’re sending.
• Malformed: This error usually occurs with -d or –data when cURL cannot understand the data you’re sending. Ensure your data is properly formatted for the type of request you’re making. If you’re sending JSON data, use a linter to validate it.
• Operation timed out: This error occurs when cURL can’t establish a connection to the server within the default connect-timeout period (300 seconds). This could be due to network latency or the server being overloaded. You may try to increase the timeout using -m or –max-time option but ensure there isn’t a server or network issue that needs addressing.
• Upload failed: If you’re trying to upload a file or data, and cURL returns this error, it could mean that the server doesn’t support the type of upload you’re trying to do or the file or data you’re uploading is in the wrong format. Check the server’s documentation to ensure you’re uploading correctly.
• URL using bad/illegal format or missing URL: This error usually means that the URL you’re using in the cURL command is incorrectly formatted. Check that you’ve included the protocol, such as http:// or https://, and that the rest of the URL is correctly formed.
• Access denied: This error typically means that the server rejected your request due to a lack of authentication or insufficient permissions. Double-check that you’re sending the correct authentication information, such as tokens, cookies, or credentials, and that your user or token has permission to access the resource.
• Peer’s certificate issuer is not recognized: This error occurs when cURL doesn’t recognize the Certificate Authority (CA) that issued the server’s SSL certificate. If you trust the server and the CA, you can tell cURL to trust the certificate using the –cacert option with the path to the CA’s certificate. However, be careful when bypassing these warnings, as they can be a sign of a man-in-the-middle attack.

Using Verbose Mode for Debugging

The -v or –verbose option in cURL is a valuable tool for debugging. When used, cURL outputs detailed information about the request and response, including the headers and data sent and received. This can help identify issues with your cURL POST request.

For example:

curl -v https://example.com

This command will display a detailed log of the cURL POST request and response process. If the server doesn’t respond as expected, the verbose log can help identify the issue. You might discover that you’re sending incorrect headers, your request is being redirected, or the server is returning an error. The verbose output can include sensitive information, such as cookies or authorization headers, so be careful when sharing the output.

Best Practices for Troubleshooting

When troubleshooting a cURL POST request:

• Start simple: Begin with a simple request and progressively add complexity. This makes it easier to isolate the issue. If a simple GET request works but a POST request doesn’t, the issue likely lies with your POST data or headers.
• Use verbose mode: As mentioned, -v or –verbose gives detailed information about the request and response. This can be vital for identifying issues.
• Check the cURL man page: The cURL man page (man curl in a Unix-like system’s terminal) is a great resource. It provides detailed explanations of all options and features.
• Refer to API or server documentation: If you’re interacting with a specific API or server, refer to its documentation. It may have specific requirements for requests.
• Isolate the issue: If a request fails, try to isolate the issue. If you suspect the problem lies with the data you’re sending, try sending a request without it. If that works, you’ve likely found the issue.
• Be mindful of sensitive data: cURL commands often include sensitive data like tokens or passwords. Be careful when sharing commands or verbose output, and remember to redact sensitive data.
• Use online tools: Online validator tools can validate your JSON, XML, or form data, ensuring they are correctly formatted before you send them in a request.

cURL Request Examples

Картинка с сайта: rayobyte.com

The use cases for cURL requests are extensive and varied. We’ll discuss some of the most popular real-world cURL post request examples to give you ideas for using this powerful tool.

Interacting with RESTful APIs

Interacting with RESTful APIs using cURL is a common practice in modern web development. These APIs, which follow the principles of Representational State Transfer (REST), are used to perform CRUD operations (Create, Read, Update, Delete) on server resources. Here are a few real-world examples and use cases for cURL POST requests and other types of cURL requests.

Fetching Data (GET Request)

Consider a weather application that fetches data from a weather API. Using cURL, developers can send a GET request to the API’s endpoint to retrieve current weather information:

curl https://api.weatherapi.com/v1/current.json?key=YOUR_KEY&q=London

The API responds with weather data in JSON format, which can be parsed and displayed to the user.

Creating a New Resource (POST Request)

Social media platforms often expose APIs to allow third-party developers to interact with their platforms. For example, a tool might automatically create new tweets based on certain triggers. This would involve sending a cURL POST request to the social media’s API:

curl -X POST -H “Content-Type: application/json” -d ‘{“status”:”Hello, Social Media!”}’ https://api.socialmedia.com/1.1/statuses/update.json

This cURL post request creates a new post with the text “Hello, Social Media!”.

Updating an Existing Resource (PUT/PATCH Request)

Suppose you’re using a task management API and you want to update the status of a task. This might involve a PUT or PATCH request, such as:

curl -X PUT -H “Content-Type: application/json” -d ‘{“status”:”completed”}’ https://api.taskapi.com/tasks/123

This request updates the status of the task with ID 123 to “completed”.

Deleting a Resource (DELETE Request)

Perhaps you’re working with a user management system and you need to delete a user. This would involve a DELETE request:

curl -X DELETE https://api.userapi.com/users/123

This request deletes the user with ID 123.

These examples demonstrate the power and versatility of cURL when interacting with RESTful APIs. Whether you’re fetching data, creating, updating, or deleting resources, a cURL post request is an invaluable tool for web development.

Automating Form Submissions With cURL POST Requests

Automating form submissions using cURL POST requests can save considerable time and effort in a variety of situations. Here are a few examples where this could be beneficial:

• Automated testing: If a web application has numerous forms that need to be tested to ensure proper operation, you can make the job easier with cURL. Writing scripts using cURL commands to automate form submission can greatly enhance efficiency. These scripts can emulate form filling and submission, checking for expected response codes and data to ensure the form is behaving correctly. This could also be an integral part of a larger continuous integration (CI) or continuous deployment (CD) process.
• Data entry automation: CURL can be useful for any organization that regularly submits large quantities of structured data into a web-based system through forms. This could be a university submitting student records to a government portal, or a business sending order data to a supplier’s website. A cURL script could automate this process, looping over the data entries, formatting them correctly for each form field, and submitting them.
• Web scraping: In cases where a site requires form submission to access certain data, such as search results, cURL can automate the process. For example, a researcher might need to extract information from a database that uses form-based search queries. They could write a cURL command to submit the form with various search terms and process the results.
• Automated login: For applications that require interaction with websites demanding authentication through a form, cURL can be utilized. The command-line tool can send a cURL POST request to the login form with the necessary credentials and maintain the session for subsequent requests.

Handling File Uploads

Handling file uploads is a common task in various applications, and cURL offers a powerful way to automate this process. Here are some real-world examples:

• Automated backups: Many services offer APIs that allow users to upload files. Cloud storage providers, for example, allow file uploads to their systems. cURL can be used in a backup script to automatically upload new or modified files to the cloud for safekeeping. The script could be scheduled to run regularly, providing automated, off-site backups.
• File transfers between systems: In an organization where files need to be shared across different systems, cURL can be an efficient tool. If a report is generated daily on a local server — and it needs to be uploaded to an internal web application via a REST API — a cURL POST request could automate this task, making it seamless and error-free.
• Testing file upload features: If you’re developing or testing a web application that includes file upload functionality, you can use cURL to simulate this action. This helps to ensure that the application can handle the upload as expected and be used for load testing.
• Data upload to machine learning platforms: Many machine learning platforms provide APIs to upload datasets. If you have a large local dataset that you want to upload for analysis, you can use a cURL POST request to automate the upload process. This can save considerable time and help streamline the data analysis workflow.
• Bulk media uploads to CMS: Content management systems often expose an API for uploading files. If you’re migrating a site or setting up a new one and have a large number of media files to upload, a script using cURL POST requests to automate the process can be a lifesaver.

Using Proxies with cURL post request

Картинка с сайта: rayobyte.com

In some scenarios, you may need to use a cURL POST request with a proxy. This can be necessary if you’re behind a corporate firewall, need to obfuscate your location, or want to manage rate limits when interacting with certain APIs. To use a cURL POST request with a proxy, you can use the -x or –proxy option followed by the proxy address:

curl -x http://proxy-server:port https://example.com

If your proxy requires authentication, you can use the -U or –proxy-user option followed by the username and password:

curl -U user:password -x http://proxy-server:port https://example.com

All information sent over a proxy can potentially be viewed or logged by the proxy owner. So always ensure that you’re using a trusted proxy, such as Rayobyte, and secure connections. As always, respect privacy rules and terms of service. cURL’s versatility and robustness, combined with the user’s awareness of security and proper usage, ensure the most effective and safe application of this powerful command-line tool.

At Rayobyte, we want to be more than just your proxy provider. We want to be your data partner. Whether you need proxies to make your POST requests more efficient or a web scraping partner to collect metadata for you, we’re here for you.

Reach out today to find out how we can help with all your data needs.

The information contained within this article, including information posted by official staff, guest-submitted material, message board postings, or other third-party material is presented solely for the purposes of education and furtherance of the knowledge of the reader. All trademarks used in this publication are hereby acknowledged as the property of their respective owners.

Sometimes, you develop APIs locally using Spring Boot or Node.js frameworks and need to test those APIs on Windows or Linux using the curl command.

curl is a command-line tool for issuing requests and transferring data between two machines.

To learn more about curl options, type:

type curl --help in the terminal to learn more about it.

Here is the syntax of the curl post command

curl is a command-line utility that works by default in both Windows and Linux. The -X option represents the request type, such as GET, POST, PUT, or DELETE.

Suppose you have an API localhost:8080/api/emp/create that accepts the following POST request.

CURL POST Request Body

The request body is the actual data that you are sending to the API.

The data can be in JSON, binary images/PDFs, or HTML.

If you are sending form data, you have to use the -F option. For JSON format data, you can use the -d option.

When sending or receiving data using a POST request, you usually need to specify the following request headers.

• Content-Type: The type of data the user is sending.
• Accept: The type of data the server is sending or the user is expecting to receive.

When you are sending the data with a post request, You have to specify the type of data that you are sending using content-type.

In CURL, request headers are specified using the -H option.

Basic CURL POST Request with No Data

In this example, we are not sending any data.

It is a basic POST request without any headers or body to a URL.

Curl URL to Send POST Request JSON

In this example, we are sending the request with the following headers:

Accept: application/json Content-Type: application/json