Admin bar avatar

حمید برکند

اخرین به روز رسانی : ۲۶ شهریور ۱۴۰۰

Web Scraping

(7 نظر)
38 دانشجو
Web Scraping

دسترسی سریع

ارتباط با استاد

امکان بازگشت وجه

دوره Web Scraping به منظور آموزش نکات مورد نیاز جهت خواندن اطلاعات صفحات وب و ذخیره آنها در دیتابیس تهیه شده است. برای اینکار از پکیج های مختلفی در زبان های پایتون و جاوا  اسکریپت استفاده می شود. اگر با زبان جاوا اسکریپپت آشنا نیستید اصلا نگران نباشید، استفاده از کتابخانه Puppeteer بسیار ساده است.

چرا باید این دوره را گذراند؟

یکی از کاربردهای بسیار مفید وب اسکرپینگ Copy trader است. کپی تریدر به این معنی است که شما خرید و فروش های یک شخص که خود بصورت عمومی اعلام می کند را از این طریق خوانده و همان معاملات را انجام می دهید. این روش یکی از روشهای مرسوم در فارکس است.

از دیگر کاربردهای وب اسکرپینگ خواندن اخبار و اطلاعات مفید بورس، از سایتهای مختلف است.

 

دروس این دوره از سطح مقدماتی تا پیشرفته را شامل می شود و سعی شده چیدمان به گونه ای باشد که دروس برای همه افراد مفید باشد.

انتهای دوره باز است و در آینده علاوه بر اضافه شدن موضوعات جدید به سرفصلها، مواردی که با توجه به سوالات دانشجویان این دوره مطرح خواهد شد درصورت نیاز به محتوای دروس توضیحاتی اضافه و یا درس مجددا ضبط خواهد شد.

سعی شده درس ها کوتاه و با مثال های کاربردی مطرح شوند و برای اینکار در حین ویرایش فیلم، بخشهایی که باید منتظر انجام یک عملیات می شدیم حذف شده است تا یادگیری آن علاوه بر سادگی در کوتاه ترین زمان ممکن صورت گیرد.

با گذراندن دوره یک گواهی پایان دوره بصورت دیجیتالی صادر میگردد که با یک آدرس مستقیم در سایت دردسترس است و می توانید در سایت هایی مانند لینکدین به آن ارجاع دهید.

نمونه گواهینامه پایان دوره “Web Scraping” :

» نکاتی در رابطه با گواهی پایان دوره

Admin bar avatar
(0)
43 نقد و بررسی
7 دوره

نقد و بررسی

‫5 ستاره
7
‫4 ستاره
0
‫3 ستاره
0
‫2 ستاره
0
‫1 ستاره
0
5.0
7 نظر
  1. Admin bar avatar

    آریو

    خیلی خوب بود بخصوص بخش مربوط به کتابخانه Puppeteer

    • Admin bar avatar

      حمید برکند

      خداروشکر که آموزشها واستون مفید بوده

  2. صمد

    واقعا اطلاعات این سایت عالی بود. درواقع نوعی فرشته نجات من بود. از جناب برکند بزرگوار که بزرگوارانه اطلاعاتشون را در اختیار دیگران قرار دادند و پاسخگویی عالی هم دارند ممنون و سپاسگذارم
    آرزومند بهترینها برای ایشان

    • Admin bar avatar

      حمید برکند

      از لطف و حمایتتون متشکرم، خیلی خوشحالم که از آموزشها راضی هستید

  3. Ali

    پیش نیاز دوره چه چیزی می باشد؟

    • Admin bar avatar

      حمید برکند

      در این دوره از کتابخانه های پایتون و nodejs استفاده شده است
      اما اگر فقط با زبان پایتون هم آشنا باشید کافی است و نیاز چندانی به مهارت در زبان برنامه نویسی جاوا اسکریپت برای کار با کتابخانه های nodejs نیست
      برای ذخیره داده هایی که از سایتهای مختلف خوانده میشود هم آشنایی با زبان SQL مفید است

  4. امین

    سلام وقت بخیر
    برای گرفتن و ذخیره ی دیتای ارز های دیجیتال درون دیتا بیس این قسمت میتونه کمک کنه؟

    • Admin bar avatar

      حمید برکند

      سلام، وقتتون بخیر
      آموزشها مربوط به خوندن اطلاعات از سایتها هست ولی خیلی بستگی به سایتی که میخواین اطلاعاتش را بخونید هم داره.
      مثلا خواندن اخبار، اطلاعات آب و هوا، لیست محصولات یک سایت معمولا امکان پذیره ولی سایتهایی که اطلاعات حساسی دارند و نمیخوان کسی اطلاعاتشون را بخونه، از روشهایی استفاده میکنن که خوندن اطلاعات سخت بشه.
      یکی از روشها تاییدهویت از طریق نمایش تصاویر (Captcha) هست. اگر از این مدل روشها استفاده شده باشه معمولا خوندن اطلاعاتشون کار ساده ای نیست.
      البته که وب اسکرپینگ هر روز در حال پیشرفت هست و اگر سرچ کنید روشهایی برای خوندن کپچا هم هست ولی معمولا شرکتهایی که روی کپچا کار میکنن هم راههای دور زدنش را خیلی زود میبیندن و میشه گفت یک رقابت همیشگی در این مورد وجود داره.

  5. امین

    از این سایت میشه اطلاعات ارز های دیجیتال رو به همون صورت که از بورس میگرفتیم بگیریم؟

    https://finance.yahoo.com/

    • Admin bar avatar

      حمید برکند

      برای گرفتن داده از Yahoo Finance راههای ساده تری هم هست. برای مثال کد زیر را اگر اجرا کنید بصورت لحظه ای تغییرات را دریافت میکنه و برای هر نماد در یک فایل csv ذخیره میکنه.
      YahooFinnaceLive

  6. رضا قلی

    سلام
    آیا امکان خواندن سفارش ها و گرفتن خروجی لحظه ای هست؟
    چند نماد رو مشخص کنیم و بهترین قیمت سفارش خرید/فروش اونها در لحظه بهمون بگه و اگر از عددی کمتر/بیشتر بود، رنگ خروجی رو تغییر بده

    • Admin bar avatar

      حمید برکند

      این امکان وجود دارد که داده های بورس (قیمت لحظه ای سهام) بصورت لحظه ای دریافت شود (آموزش این کار در دوره دریافت داده های بورس وجود دارد) ولی باتوجه به اینکه دیتا بصورت اکسل دریافت میشود بعد از دریافت باید فیلتر شود.
      اما اگر منظور شما از “خواندن سفارشها” خواندن اطلاعات در صف خرید و فروش هست، با وب اسکرپینگ این کار امکان پذیر است.
      برای نمایش خروجی بصورت رنگی هم می توانید از داشبورهای Power BI (در دوره BI برای مالی از این روش استفاده شده) و یا StreamLit (در دوره استراتژی از این روش استفاده شده) استفاده کنید.

  7. مهدی

    سلام من درخواست انجام پروژه وب اسکرپینگ با پایتون دارم چطور میتونم با مدرس یا افراد با تجربه در این زمینه در ارتباط باشم لطفا دوستان در صورت تمایل به ایمیل من پیام بدین باتشکر
    misterfh29@gmail.com

یک بررسی اضافه کنید