

دسترسی سریع

ارتباط با استاد

امکان بازگشت وجه
دوره Web Scraping به منظور آموزش نکات مورد نیاز جهت خواندن اطلاعات صفحات وب و ذخیره آنها در دیتابیس تهیه شده است. برای اینکار از پکیج های مختلفی در زبان های پایتون و جاوا اسکریپت استفاده می شود. اگر با زبان جاوا اسکریپپت آشنا نیستید اصلا نگران نباشید، استفاده از کتابخانه Puppeteer بسیار ساده است.
چرا باید این دوره را گذراند؟
یکی از کاربردهای بسیار مفید وب اسکرپینگ Copy trader است. کپی تریدر به این معنی است که شما خرید و فروش های یک شخص که خود بصورت عمومی اعلام می کند را از این طریق خوانده و همان معاملات را انجام می دهید. این روش یکی از روشهای مرسوم در فارکس است.
از دیگر کاربردهای وب اسکرپینگ خواندن اخبار و اطلاعات مفید بورس، از سایتهای مختلف است.
دروس این دوره از سطح مقدماتی تا پیشرفته را شامل می شود و سعی شده چیدمان به گونه ای باشد که دروس برای همه افراد مفید باشد.
انتهای دوره باز است و در آینده علاوه بر اضافه شدن موضوعات جدید به سرفصلها، مواردی که با توجه به سوالات دانشجویان این دوره مطرح خواهد شد درصورت نیاز به محتوای دروس توضیحاتی اضافه و یا درس مجددا ضبط خواهد شد.
سعی شده درس ها کوتاه و با مثال های کاربردی مطرح شوند و برای اینکار در حین ویرایش فیلم، بخشهایی که باید منتظر انجام یک عملیات می شدیم حذف شده است تا یادگیری آن علاوه بر سادگی در کوتاه ترین زمان ممکن صورت گیرد.
با گذراندن دوره یک گواهی پایان دوره بصورت دیجیتالی صادر میگردد که با یک آدرس مستقیم در سایت دردسترس است و می توانید در سایت هایی مانند لینکدین به آن ارجاع دهید.
نمونه گواهینامه پایان دوره “Web Scraping” :
-
معرفی دوره
آشنایی با مفهوم Web Scraping
-
وب اسکرپینگ با پایتون
استفاده از کتابخانه های پایتون برای دریافت اطلاعات از سایتهای مختلف
-
وب اسکریپینگ با Node.js
استفاده از کتابخانه های جاوا اسکریپت برای دریافت اطلاعات سایتهای مختلف
آریو
خیلی خوب بود بخصوص بخش مربوط به کتابخانه Puppeteer
حمید برکند
خداروشکر که آموزشها واستون مفید بوده
صمد
واقعا اطلاعات این سایت عالی بود. درواقع نوعی فرشته نجات من بود. از جناب برکند بزرگوار که بزرگوارانه اطلاعاتشون را در اختیار دیگران قرار دادند و پاسخگویی عالی هم دارند ممنون و سپاسگذارم
آرزومند بهترینها برای ایشان
حمید برکند
از لطف و حمایتتون متشکرم، خیلی خوشحالم که از آموزشها راضی هستید
Ali
پیش نیاز دوره چه چیزی می باشد؟
حمید برکند
در این دوره از کتابخانه های پایتون و nodejs استفاده شده است
اما اگر فقط با زبان پایتون هم آشنا باشید کافی است و نیاز چندانی به مهارت در زبان برنامه نویسی جاوا اسکریپت برای کار با کتابخانه های nodejs نیست
برای ذخیره داده هایی که از سایتهای مختلف خوانده میشود هم آشنایی با زبان SQL مفید است
امین
سلام وقت بخیر
برای گرفتن و ذخیره ی دیتای ارز های دیجیتال درون دیتا بیس این قسمت میتونه کمک کنه؟
حمید برکند
سلام، وقتتون بخیر
آموزشها مربوط به خوندن اطلاعات از سایتها هست ولی خیلی بستگی به سایتی که میخواین اطلاعاتش را بخونید هم داره.
مثلا خواندن اخبار، اطلاعات آب و هوا، لیست محصولات یک سایت معمولا امکان پذیره ولی سایتهایی که اطلاعات حساسی دارند و نمیخوان کسی اطلاعاتشون را بخونه، از روشهایی استفاده میکنن که خوندن اطلاعات سخت بشه.
یکی از روشها تاییدهویت از طریق نمایش تصاویر (Captcha) هست. اگر از این مدل روشها استفاده شده باشه معمولا خوندن اطلاعاتشون کار ساده ای نیست.
البته که وب اسکرپینگ هر روز در حال پیشرفت هست و اگر سرچ کنید روشهایی برای خوندن کپچا هم هست ولی معمولا شرکتهایی که روی کپچا کار میکنن هم راههای دور زدنش را خیلی زود میبیندن و میشه گفت یک رقابت همیشگی در این مورد وجود داره.
امین
از این سایت میشه اطلاعات ارز های دیجیتال رو به همون صورت که از بورس میگرفتیم بگیریم؟
https://finance.yahoo.com/
حمید برکند
برای گرفتن داده از Yahoo Finance راههای ساده تری هم هست. برای مثال کد زیر را اگر اجرا کنید بصورت لحظه ای تغییرات را دریافت میکنه و برای هر نماد در یک فایل csv ذخیره میکنه.
YahooFinnaceLive
رضا قلی
سلام
آیا امکان خواندن سفارش ها و گرفتن خروجی لحظه ای هست؟
چند نماد رو مشخص کنیم و بهترین قیمت سفارش خرید/فروش اونها در لحظه بهمون بگه و اگر از عددی کمتر/بیشتر بود، رنگ خروجی رو تغییر بده
حمید برکند
این امکان وجود دارد که داده های بورس (قیمت لحظه ای سهام) بصورت لحظه ای دریافت شود (آموزش این کار در دوره دریافت داده های بورس وجود دارد) ولی باتوجه به اینکه دیتا بصورت اکسل دریافت میشود بعد از دریافت باید فیلتر شود.
اما اگر منظور شما از “خواندن سفارشها” خواندن اطلاعات در صف خرید و فروش هست، با وب اسکرپینگ این کار امکان پذیر است.
برای نمایش خروجی بصورت رنگی هم می توانید از داشبورهای Power BI (در دوره BI برای مالی از این روش استفاده شده) و یا StreamLit (در دوره استراتژی از این روش استفاده شده) استفاده کنید.
مهدی
سلام من درخواست انجام پروژه وب اسکرپینگ با پایتون دارم چطور میتونم با مدرس یا افراد با تجربه در این زمینه در ارتباط باشم لطفا دوستان در صورت تمایل به ایمیل من پیام بدین باتشکر
misterfh29@gmail.com