মেশিন লার্নিং অ্যালগরিদমের যাত্রা

মেশিন লার্নিং অ্যালগরিদমের যাত্রা

আমরা মেশিন লার্নিংয়ের সমস্যাগুলি বুঝতে পারি যা আমাদের সমাধান করতে হবে।http://machinelearningmastery.com/practical-machine-learning-problems/আমরা এই নিবন্ধে মেশিন লার্নিংয়ের সবচেয়ে জনপ্রিয় অ্যালগরিদমগুলি পর্যালোচনা করব এবং কোনটি কার্যকর এবং সহায়ক তা দেখতে পাব। মেশিন লার্নিংয়ের ক্ষেত্রে অনেকগুলি অ্যালগরিদম রয়েছে, এবং প্রতিটি অ্যালগরিদমের অনেকগুলি এক্সটেনশন রয়েছে, তাই একটি নির্দিষ্ট সমস্যার জন্য সঠিক অ্যালগরিদমটি কীভাবে নির্ধারণ করা যায় তা কঠিন। এই নিবন্ধে আমি আপনাকে বাস্তবে দেখা যেসব অ্যালগরিদমের সংক্ষিপ্তসার করতে চাই তার দুটি পদ্ধতি দিতে চাই।

• শেখার পদ্ধতি

  মেশিন লার্নিং এবং এআই পাঠ্যপুস্তকগুলি সাধারণত প্রথমে বিবেচনা করে যে কীভাবে অ্যালগরিদমগুলি তাদের অভিজ্ঞতা, পরিবেশ বা আমরা যে কোনও ইনপুট হিসাবে উল্লেখ করি তা পরিচালনা করে।

  এখানে কেবলমাত্র কয়েকটি প্রধান শেখার শৈলী বা শেখার মডেল আলোচনা করা হয়েছে, এবং কয়েকটি মৌলিক উদাহরণ রয়েছে। এই শ্রেণীবিভাগ বা সংগঠনের পদ্ধতিটি ভাল কারণ এটি আপনাকে ইনপুট ডেটার ভূমিকা এবং মডেল প্রস্তুতির প্রক্রিয়া সম্পর্কে চিন্তা করতে বাধ্য করে এবং আপনার সমস্যার জন্য সর্বোত্তম ফলাফলের জন্য একটি অ্যালগরিদম বেছে নেয়।

  মনিটরিং লার্নিংঃ ইনপুট করা ডেটাকে প্রশিক্ষণ ডেটা বলা হয়, এবং এর সাথে পরিচিত ফলাফল বা চিহ্নিত করা হয়; যেমন একটি ইমেল স্প্যাম হয়েছে কিনা, বা সময়ের মধ্যে শেয়ারের দাম; মডেলটি ভবিষ্যদ্বাণী করে, যদি এটি ভুল হয় তবে এটি সংশোধন করা হয় এবং প্রক্রিয়াটি অব্যাহত থাকে যতক্ষণ না এটি প্রশিক্ষণের ডেটার জন্য একটি নির্দিষ্ট মান পূরণ করে। সমস্যা উদাহরণগুলির মধ্যে শ্রেণিবদ্ধকরণ এবং প্রত্যাবর্তন সমস্যা রয়েছে; অ্যালগরিদমের উদাহরণগুলির মধ্যে রয়েছে লজিক্যাল প্রত্যাবর্তন এবং বিপরীত নিউরাল নেটওয়ার্ক। অনির্দেশিত শিক্ষাঃ ইনপুট ডেটা চিহ্নিত করা হয় না এবং ফলাফল নির্ধারণ করা হয় না। মডেলটি ডেটার কাঠামো এবং সংখ্যাগত মানগুলির উপর ইন্ডাকশন করে। সমস্যাগুলির উদাহরণগুলির মধ্যে রয়েছে অ্যাসোসিয়েশন রুল লার্নিং এবং ক্লাসিং সমস্যা, অ্যালগরিদমের উদাহরণগুলির মধ্যে রয়েছে অ্যাপ্রিওরি অ্যালগরিদম এবং কে-এভারেজ অ্যালগরিদম। আধা-নিরীক্ষিত শেখারঃ ইনপুট ডেটা হ'ল চিহ্নিত এবং অ-তালিকাভুক্ত ডেটার মিশ্রণ, কিছু পূর্বাভাস সমস্যা রয়েছে তবে মডেলগুলিকে ডেটার কাঠামো এবং গঠনও শিখতে হবে। সমস্যা উদাহরণগুলির মধ্যে শ্রেণিবদ্ধকরণ এবং প্রত্যাবর্তন সমস্যা অন্তর্ভুক্ত রয়েছে, অ্যালগরিদমের উদাহরণগুলি মূলত অনিরীক্ষিত শেখার অ্যালগরিদমের প্রসারিত। বর্ধিত শিক্ষাঃ ইনপুট তথ্য মডেলকে উদ্দীপিত করতে পারে এবং মডেলকে প্রতিক্রিয়া জানাতে পারে। ফিডব্যাক কেবল তত্ত্বাবধানে শেখার প্রক্রিয়া থেকে নয়, পরিবেশের পুরষ্কার বা শাস্তি থেকেও আসে। সমস্যাগুলির উদাহরণ হ'ল রোবট নিয়ন্ত্রণ, অ্যালগরিদমিক উদাহরণগুলির মধ্যে Q-শিক্ষা এবং সময়গত পার্থক্য শেখার অন্তর্ভুক্ত।

  ডেটা সিমুলেশন ব্যবসায়িক সিদ্ধান্ত গ্রহণের ক্ষেত্রে, বেশিরভাগই তত্ত্বাবধানে শেখার এবং তত্ত্বাবধানে শেখার পদ্ধতি ব্যবহার করে। পরবর্তী একটি জনপ্রিয় বিষয় হল আধা তত্ত্বাবধানে শেখার, যেমন চিত্র শ্রেণিবদ্ধকরণ সমস্যা, যেখানে সমস্যাগুলির একটি বড় ডাটাবেস রয়েছে, তবে কেবলমাত্র একটি ছোট অংশের চিত্রগুলি চিহ্নিত করা হয়েছে। বর্ধিত শেখার বেশিরভাগই রোবোটিক নিয়ন্ত্রণ এবং অন্যান্য নিয়ন্ত্রণ সিস্টেমের বিকাশে ব্যবহৃত হয়।

• অ্যালগরিদমের মিল

  অ্যালগরিদমগুলি মূলত ফাংশন বা ফর্ম দ্বারা শ্রেণীবদ্ধ করা হয়; উদাহরণস্বরূপ, গাছ-ভিত্তিক অ্যালগরিদম, নিউরাল নেটওয়ার্ক অ্যালগরিদম; এটি একটি দরকারী শ্রেণীবদ্ধকরণের উপায়, তবে এটি নিখুঁত নয়; কারণ অনেকগুলি অ্যালগরিদমকে সহজেই দুটি বিভাগে বিভক্ত করা যায়, যেমন লার্নিং ভেক্টর কোয়ান্টাইজেশন যা একই সাথে নিউরাল নেটওয়ার্ক শ্রেণীর অ্যালগরিদম এবং উদাহরণ ভিত্তিক পদ্ধতি। যেমন মেশিন লার্নিং অ্যালগরিদমগুলির নিজস্ব নিখুঁত মডেল নেই, তেমনই অ্যালগরিদমের শ্রেণীবদ্ধকরণের পদ্ধতিও নিখুঁত নয়।

  এই অংশে আমি তালিকাবদ্ধ করেছি যেসব অ্যালগরিদমকে আমি সবচেয়ে স্বজ্ঞাত পদ্ধতি বলে মনে করি। আমার কাছে সমস্ত অ্যালগরিদম বা শ্রেণীবিভাগের পদ্ধতি নেই, কিন্তু আমি মনে করি এটি পাঠকদের একটি সাধারণ ধারণা দেওয়ার জন্য খুব সহায়ক হবে। যদি আপনি কিছু জানেন যা আমি তালিকাভুক্ত করি নি, তাহলে মন্তব্য শেয়ার করতে স্বাগতম। এখন শুরু করা যাক!

• পুনরাবৃত্তি

  রেগ্রেশন (পুনরাবৃত্তি বিশ্লেষণ) ভেরিয়েবলগুলির মধ্যে সম্পর্ক নিয়ে উদ্বিগ্ন। এটি পরিসংখ্যানগত পদ্ধতিতে প্রয়োগ করা হয়, কয়েকটি অ্যালগরিদমের উদাহরণ সহঃ

  সাধারণ ক্ষুদ্রতম বর্গক্ষেত্র লজিস্টিক রিগ্রেশন ধাপে ধাপে পিছিয়ে যাওয়া মাল্টিভেরিয়েট অ্যাডাপ্টিভ রিগ্রেশন স্প্লিনস (MARS) স্থানীয়ভাবে অনুমান করা ছড়িয়ে পড়া গ্রাফ সমতলকরণ (LOESS)

• ইনস্ট্যান্স ভিত্তিক পদ্ধতি

  ইনস্ট্যান্স ভিত্তিক লার্নিং (ইনস্ট্যান্স ভিত্তিক লার্নিং) একটি সিদ্ধান্ত গ্রহণের সমস্যাকে অনুকরণ করে, যেখানে ব্যবহৃত উদাহরণ বা উদাহরণগুলি মডেলের জন্য অত্যন্ত গুরুত্বপূর্ণ। এই পদ্ধতিটি বিদ্যমান ডেটার উপর একটি ডাটাবেস তৈরি করে এবং তারপরে নতুন ডেটা যুক্ত করে, তারপরে একটি সাদৃশ্য পরিমাপ পদ্ধতি ব্যবহার করে ডাটাবেসে একটি সেরা ম্যাচ খুঁজে বের করে এবং একটি পূর্বাভাস দেয়। এই কারণে এই পদ্ধতিটি বিজয়ী রাজা পদ্ধতি এবং মেমরি ভিত্তিক পদ্ধতি নামেও পরিচিত। এখন ফোকাস স্টোরেজ ডেটা উপস্থাপনের ফর্ম এবং সাদৃশ্য পরিমাপ পদ্ধতিতে।

  k- নিকটতম প্রতিবেশী (kNN) লার্নিং ভেক্টর কোয়ান্টাইজেশন (এলভিকিউ) স্ব-সংগঠিত মানচিত্র (এসওএম)

• নিয়মিতকরণ পদ্ধতি

  এটি অন্যান্য পদ্ধতির একটি এক্সটেনশন (সাধারণত রেগ্রেশন পদ্ধতি), যা সহজতম মডেলগুলির জন্য আরও সুবিধাজনক এবং আরও ভাল ইন্ডাকশন। আমি এটি এখানে তালিকাভুক্ত করেছি কারণ এটি জনপ্রিয় এবং শক্তিশালী।

  রিজ রিগ্রেশন সর্বনিম্ন পরম সংকোচন এবং নির্বাচন অপারেটর (LASSO) ইলাস্টিক নেট

• সিদ্ধান্তের গাছ থেকে শিক্ষা

  Decision tree methods একটি মডেল তৈরি করে যা তথ্যের প্রকৃত মানের উপর ভিত্তি করে সিদ্ধান্ত নেয়।

  শ্রেণীবিভাগ এবং রিগ্রেশন গাছ (সিএআরটি) পুনরাবৃত্তিমূলক ডিকোটোমাইজার ৩ (আইডি৩) C4.5 চি-স্কয়ার অটোমেটিক ইন্টারঅ্যাকশন ডিটেকশন (সিএইচএআইডি) সিদ্ধান্ত স্টুপ এলোমেলো বন মাল্টিভেরিয়েট অ্যাডাপ্টিভ রিগ্রেশন স্প্লিনস (MARS) গ্র্যাডিয়েন্ট বুস্টিং মেশিন (GBM)

• বেয়েজিয়ান

  বেয়েজীয় পদ্ধতি বা বেয়েজীয় পদ্ধতি হল শ্রেণীবিভাজন এবং প্রত্যাবর্তন সমস্যা সমাধানের ক্ষেত্রে বেয়েজীয় তত্ত্বের একটি পদ্ধতি।

  নির্বোধ বেয়স গড় এক-নির্ভরতা অনুমানকারী (AODE) বেয়েজিয়ান বিশ্বাস নেটওয়ার্ক (বিবিএন)

• কার্নেল পদ্ধতি

  কার্নেল মেথডের মধ্যে সবচেয়ে বিখ্যাত হল সাপোর্ট ভেক্টর মেশিন। এই পদ্ধতিতে ইনপুট ডেটাকে উচ্চ মাত্রায় ম্যাপ করা হয়, যা কিছু শ্রেণীবিভাগ এবং রিগ্রেশন সমস্যার মডেলিং সহজ করে তোলে।

  সমর্থন ভেক্টর মেশিন (এসভিএম) রেডিয়াল বেস ফাংশন (RBF) রৈখিক বৈষম্য বিশ্লেষণ (এলডিএ)

• গ্রুপিং পদ্ধতি

  ক্লাস্টারিং (ক্লাসিং), নিজেই সমস্যা এবং পদ্ধতি বর্ণনা করে। ক্লাস্টারিং পদ্ধতি সাধারণত মডেলিং পদ্ধতি দ্বারা শ্রেণীবদ্ধ করা হয়। সমস্ত ক্লাস্টারিং পদ্ধতি একটি ইউনিফাইড ডেটা স্ট্রাকচার ব্যবহার করে ডেটা সংগঠিত করে যাতে প্রতিটি গোষ্ঠীর মধ্যে সর্বাধিক মিল থাকে।

  K-Mean প্রত্যাশা সর্বাধিকীকরণ (EM)

• অ্যাসোসিয়েশন নিয়ম শেখার

  অ্যাসোসিয়েশন রুল লার্নিং (ইংরেজিঃ Association rule learning) হল এমন একটি পদ্ধতি যা ডেটার মধ্যে নিয়মগুলি বের করার জন্য ব্যবহৃত হয়, যার মাধ্যমে বিশাল সংখ্যক বহু-মাত্রিক স্থানিক ডেটার মধ্যে সংযোগগুলি আবিষ্কার করা যায়, যা গুরুত্বপূর্ণ সংযোগগুলি সংস্থাগুলি ব্যবহার করতে পারে।

  পূর্ববর্তী অ্যালগরিদম ইক্ল্যাট অ্যালগরিদম

• কৃত্রিম নিউরাল নেটওয়ার্ক

  কৃত্রিম নিউরাল নেটওয়ার্কগুলি জৈবিক নিউরাল নেটওয়ার্কগুলির কাঠামো এবং কার্যকারিতা থেকে অনুপ্রাণিত। এটি প্যাটার্ন মেলে এমন একটি শ্রেণীর অন্তর্ভুক্ত যা প্রায়শই রেগ্রেশন এবং শ্রেণিবদ্ধকরণ সমস্যাগুলির জন্য ব্যবহৃত হয়, তবে এর মধ্যে শত শত অ্যালগরিদম এবং বৈচিত্র্য রয়েছে। এর মধ্যে কয়েকটি ক্লাসিক্যাল জনপ্রিয় অ্যালগরিদম (আমি গভীর শেখার জন্য আলাদাভাবে উল্লেখ করেছি):

  পারসেপট্রন ব্যাক-প্রসারণ হপফিল্ড নেটওয়ার্ক স্ব-সংগঠিত মানচিত্র (SOM) লার্নিং ভেক্টর কোয়ান্টাইজেশন (এলভিকিউ)

• গভীর শিক্ষা

  ডিপ লার্নিং পদ্ধতিটি একটি আধুনিক আপডেট যা একটি কৃত্রিম নিউরাল নেটওয়ার্কের সাথে তুলনা করে। এটিতে traditionalতিহ্যবাহী নিউরাল নেটওয়ার্কগুলির তুলনায় আরও বেশি জটিল নেটওয়ার্ক গঠন রয়েছে এবং অনেকগুলি পদ্ধতিই অর্ধ-নিরীক্ষণমূলক শেখার বিষয়ে উদ্বিগ্ন। এই ধরণের শেখার সমস্যায় প্রচুর ডেটা রয়েছে তবে এর মধ্যে খুব কমই ট্যাগ করা ডেটা রয়েছে।

  সীমাবদ্ধ বোল্টজম্যান মেশিন (আরবিএম) গভীর বিশ্বাস নেটওয়ার্ক (DBN) কনভলুশনাল নেটওয়ার্ক স্ট্যাকড অটো-কোডার

• মাত্রা হ্রাস

  ডাইমেনশনালটি রিডাকশন (dimensionality reduction), ক্লাসিফিকেশন পদ্ধতির মতো, ডেটাতে অভিন্ন কাঠামো অনুসরণ করে এবং ব্যবহার করে, তবে এটি কম তথ্য দিয়ে ডেটাকে ইন্ডাকশন এবং বর্ণনা করে। এটি ডেটাকে ভিজ্যুয়ালাইজ বা সরলীকৃত করার জন্য দরকারী।

  প্রধান উপাদান বিশ্লেষণ (পিসিএ) আংশিক ক্ষুদ্রতম বর্গক্ষেত্র রিগ্রেশন (পিএলএস) স্যামন ম্যাপিং বহুমাত্রিক স্কেলিং (MDS) প্রজেকশন সাধনা

• একত্রিত পদ্ধতি

  Ensemble methods (সংমিশ্রণ পদ্ধতি) অনেক ছোট মডেলের সমন্বয়ে গঠিত, যা স্বাধীনভাবে প্রশিক্ষিত হয়, স্বাধীনভাবে সিদ্ধান্ত নেয় এবং শেষ পর্যন্ত একটি সাধারণ পূর্বাভাস গঠন করে। অনেক গবেষণা কী মডেল ব্যবহার করা হয় এবং কীভাবে এই মডেলগুলি একত্রিত হয় সেদিকে মনোনিবেশ করে। এটি একটি খুব শক্তিশালী এবং জনপ্রিয় কৌশল।

  উত্সাহ বুটস্ট্র্যাপড একীকরণ (ব্যাগিং) অ্যাডাবস্ট স্ট্যাকড জেনেরালাইজেশন (মিশ্রণ) গ্র্যাডিয়েন্ট বুস্টিং মেশিন (GBM) এলোমেলো বন

এটি একটি সমন্বয় পদ্ধতির একটি উদাহরণ (উইকি থেকে), প্রতিটি অগ্নিনির্বাপক পদ্ধতিকে ধূসর রঙে চিহ্নিত করা হয়েছে এবং চূড়ান্ত সংশ্লেষিত চূড়ান্ত পূর্বাভাসটি লাল রঙে রয়েছে।

• অন্যান্য সম্পদ

  এই মেশিন লার্নিং অ্যালগরিদম ট্যুরটি আপনাকে কোন অ্যালগরিদম এবং এর সাথে সম্পর্কিত কিছু সরঞ্জাম সম্পর্কে একটি ওভারভিউ দেবে।

  নীচে কিছু অন্যান্য সংস্থান রয়েছে, দয়া করে খুব বেশি মনে করবেন না, যত বেশি অ্যালগরিদম আপনি জানতে পারবেন ততই ভাল হবে, তবে কিছু অ্যালগরিদম সম্পর্কে গভীর জ্ঞান থাকাও দরকার।

  • List of Machine Learning Algorithms: এটি উইকিপিডিয়ার একটি সম্পদ, যদিও এটি সম্পূর্ণ, তবে আমি মনে করি শ্রেণীবিভাগটি ভাল নয়।
  • মেশিন লার্নিং অ্যালগরিদম বিভাগঃ এটি উইকিতেও একটি সংস্থান, উপরে বর্ণিতগুলির চেয়ে কিছুটা ভাল, বর্ণমালা অনুসারে।
  • CRAN Task View: Machine Learning & Statistical Learning: মেশিন লার্নিং অ্যালগরিদমের R ভাষা এক্সটেনশন প্যাক, দেখুন অন্যরা কী ব্যবহার করছে তা আপনার জন্য ভাল।
  • Top 10 Algorithms in Data Mining: এটি একটি প্রকাশিত নিবন্ধ, এখন একটি বই, যা সর্বাধিক জনপ্রিয় ডেটা মাইনিং অ্যালগরিদম অন্তর্ভুক্ত করে। আরেকটি মৌলিক অ্যালগরিদম তালিকা, এখানে তালিকাভুক্ত অ্যালগরিদমগুলি অনেক কম, যা আপনাকে গভীরভাবে শিখতে সহায়তা করবে।

বিলে কলাম/বড় ফ্লাইট পাইথন ডেভেলপার থেকে পুনর্নির্দেশিত